Un mito greco attribuisce ad Atena la nascita del primo olivo che sorse nell'Acropoli a protezione della città di Atene. La leggenda racconta che Poseidone ed Atena, disputandosi la sovranità dell'Attica, si sfidarono a chi avesse offerto il più bel dono al popolo. Poseidone, colpendo con il suo tridente il suolo, fece sorgere il cavallo più potente e rapido, in grado di vincere tutte le battaglie; Atena, colpendo la roccia con la sua lancia, fece nascere dalla terra il primo albero di olivo per illuminare la notte, per mendicare le ferite e per offrire nutrimento alla popolazione. Zeus scelse l'invenzione più pacifica ed Atena divenne la dea di Atene. Un figlio di Poseidone cercò di sradicare l'albero di Atena, ma non vi riuscì, anzi si ferì nel commettere il gesto sacrilego e morì. Quella roccia che resistette era appunto l'Acropoli, dove la pianta dell'olivo venne presidiata dai soldati perchè sacra ai greci.

Secondo una leggenda riferita da Plinio e da Cicerone, sarebbe stato Aristeo lo scopritore dell'olivo e l'inventore del modo di estrarre l'olio, all'epoca fenicia. L'olivicoltura era molto diffusa al tempo di Omero; L'Iliade e l'Odissea narrano spesso dell'olivo e del suo olio. Stupenda la descrizione della camera da letto nella quale Penelope accolse Ulisse al suo ritorno, e che Ulisse stesso aveva costruito prima della sua partenza con legno d'olivo.

A Roma l'olivo era dedicato a Minerva e Giove. I romani, pur nella loro praticità di considerare l'olio d'oliva come merce da esigere dai vinti, da commerciare, da consumare, mutuarono dai Greci alcuni aspetti simbolici dell'olivo. Onoravano i cittadini illustri con corone di fronde di olivo, così pure gli sposi il giorno delle nozze; i morti infine venivano inghirlandati per significare di essere vincitori nelle lotte della vita umana.

Nell'area islamica molte leggende fanno riferimento all'olivo e al suo prodotto; si ricorda la storia di Ali Babà e i 40 ladroni nascosti negli otri che dovevano contenere l'olio.