Durante l'età protostorica il territorio di Olivetta fu presumibilmente frequentato da tribù di Liguri lntemeli, che avevano il loro maggior centro in Albintimilium alle foci del Nervia e che furono definitivamente sottomesse da Augusto nel 14 a.C. dopo una lunga e sanguinosa guerra. Dopo la caduta dell'Impero romano d'Occidente, la zona di Olivetta fu invasa prima dai Longobardi verso la metà del VII secolo, poi dai Franchi di Carlo Magno e infine dai Saraceni, che devastarono in particolare Albintimilium, i cui abitanti fuggiaschi costruirono sul ripido pendio della sponda destra del Roia la città che sarebbe poi divenuta l'odierna Ventimiglia. Verso l'anno Mille il castello di Penna (il nome medievale e moderno di Olivetta San Michele che si sarebbe mantenuto fino al 1890) entrò a far parte dei domini della Contea di Ventimiglia, mentre il Comune di Genova cercava di estendere il suo dominio alla Riviera di Ponente. Molti feudi gli furono ceduti spontaneamente, altri acquistò dai feudatari, altri ancora che non riuscì a comprare sottomise al suo potere con la forza, e tra questi vi fu anche la Contea di Ventimiglia, il cui conte Oberto, vinto nel 1130, fu costretto a recarsi a Genova ed a giurarvi fedeltà al popolo della Repubblica. Ottenuto dall'imperatore Corrado lii il permesso di soggiogare definitivamente i Ventimigliesi, nell'agosto del 1140 molte milizie genovesi assediarono dal mare e da terra Ventimiglia, che dopo lunga resistenza fu costretta a capitolare.
Furono quindi espugnati tutti i castelli della contea, tra i quali anche quello di Penna, i cui uomini dovettero giurare eterna fedeltà a Genova. Nell'agosto del 1146 il conte Oberto accettò il vassallaggio genovese facendo donazione al Comune della sua contea e ricevendone in cambio una nuova investitura.
Alla morte di Oberto, il figlio primogenito Guido donò il 30 agosto 1157 al Comune di Genova vari castelli, tra cui quello di Penna, riavendoli subito in feudo dai consoli di governo per conto del comune. Guido giurò poi fedeltà al comune come vassallo al suo signore e promise che l'avrebbe fatta giurare a tutti gliuomini dei suoi castelli, di cui ventisette di Penna. Di Penna, che era allora una castellania redditizia per i suoi vasti boschi e pascoli e per il pedaggio dei greggi transitanti nel suo territorio, il conte riservò, alla sua morte, l'usufrutto alla moglie Ferraria, che avrebbe dovuto giurare a suo tempo fedeltà al Comune genovese. Sulla identità di costei alcuni pensano sia stata una provenzale, figlia di Raimondo conte di Arles, mentre, secondo altri, era una genovese figlia di Guelfo di Albissola marchese di Sezzè. La contessa Ferraria morì probabilmente prima del marito in quanto il castello di Penna, insieme a quelli di Roccabruna, Gorbio e Poipino, andò in pieno possesso del conte Ottone, fratello del defunto Guido. A sua volta il conte Ottone li cedette, il 5 settembre 1177, unitamente ai castelli di Bussana e Dolceacqua, al Comune di Genova, i cui consoli ridiedero in feudo
Penna e gli altri castelli al conte e ai suoi eredi. Poco dopo, con atto del 15 giugno 1178, rogato nella chiesa di Santa Maria dal notaio Amandolesio, i consoli di Ventimiglia, dopo essere stati autorizzati dal consiglio della comunità, concedettero agli uomini del castello di Penna di lavorare nei contili, ossia nelle terre comitali di Matogna fino al rio Coliore, di Campi e di Libri, corrispondendo al castellano la nona parte del frumento, della spelta, dell'orzo, delle fave e del vino per Matogna e di tutti i raccolti per Campi e Libri, eccettuato per Libri il campo di un certo Gutifredo. A seguito di tale concessione, i Pennaschi poterono dissodare molte terre boschive, delle quali divennero con l'andar del tempo proprietari, ponendo allora le fondamenta della piccola proprietà terriera destinata a diffondersi di pari passo con l'incremento della popolazione mediante i cosiddetti «sciarti», i dissodamenti cioè di terre comuni nell'ambito del sorgere e dello sviluppo della comunità.
Dopo una serie di ripetuti atti di ribellione da parte dei Ventimigliesi, Genova decise alla fine di intervenire militarmente per sottomettere definitivamente la città ribelle e ai primi di maggio del 1219 un contingente di molte milizie a piedi e a cavallo agli ordini del podestà Lambertino Guidone di Bonarello, congiuntamente ad una flotta composta da molte galee e altre navi minori, pose l'assedio alla città dal mare e da terra, ma i Ventimigliesi opposero una strenua resistenza costringendo alla fine le truppe genovesi a ritirarsi, mentre il conte Guglielmo e i suoi uomini, in previsione di un probabile assedio da terra, si asserragliarono nel castello di Penna. Nel 1221riprese l'assedio della città da parte delle forze genovesi guidate dal nuovo podestà Loteringo di Martinengo, mentre il territorio intemelio veniva raggiunto dalle truppe del conte di Provenza Raimondo Berengario proveniente da Sospello. L'anno successivo la guerra ebbe comunque termine e Genova poté così estendere i suoi domini su Ventimiglia, su Penna e sui rispettivi distretti, e su Apio, con facoltà di fortificare la città, nominarne il podestà e riscuotere gabelle. L'8 settembre 1222 il conte Guglielmo, alla presenza di numerosi consiglieri, nella chiesa di Santa Maria fece formale atto di consegna al podestà, giunto appositamente da Genova, di Ventimiglia, di Penna e di Apio; fu così che Penna, data anche la stretta relazione che intercorreva tra le rispettive fortificazioni, fu aggregata alla comunità ventimigliese. In seguito a un'ennesima rivolta da parte dei Ventimigliesi nel 1238, le truppe genovesi intervennero nuovamente per soggiogare la città ribelle, da dove furono cacciati molti abitanti, i quali, insieme ad esuli e fuorusciti di Penna, si rifugiarono a Sant'Ampelio e vi costruirono diverse case fortificate con mura e torri. Ma nel 1239 le forze genovesi guidate da Folco Guercio sbarcarono a Sant'Ampelio e vi ingaggiarono battaglia coi rifugiati, che vennero sbaragliati, mentre mura, torri e case andavano distrutte e le terre limitrofe devastate. Nel frattempo la comunità di Breglio si impossessava del castello di Penna, che era rimasta isolata e dove gli abitanti di Breglio cominciarono a sfruttare terre boschive e gerbide alla sinistra del Roia, sulle quali pare che i Ventimigliesi avessero dei diritti connessi con crediti dei conti. Assoggettatasi volontariamente Ventimiglia a Genova 1'8 giugno 1251, anche Penna venne restituita a Genova con atto stipulato il 25 marzo 1252 con la comunità di Breglio, alla quale sia Genova che Ventimiglia abbonavano tutto quello che essa aveva ricavato dalle terre occupate e dissodate a Penna, oltre alla remissione reciproca delle offese intervenute nel corso dell'occupazione e alla restituzione degli uomini catturati da una parte e dall'altra. Penna, che era intanto divenuta un Comune autonomo, venne quindi di nuovo aggregata a Ventimiglia e le sue terre rocciose, boschili e gerbidi che formavano il suo distretto, le strade che lo attraversavano, le acque che vi scorrevano e quant'altro costituiva il demanio feudale erano passate all'«Università degli uomini» di Penna, che aveva già una sua corte di giustizia, un suo consiglio e dei propri sindaci, ma non aveva ancora dei propri Statuti, che erano il segno palese ed eloquente di una completa autonomia. Poco dopo Penna divenne un luogo fortificato di frontiera lungo il confine tra la Contea di Provenza e il territorio di Genova, che, dopo lo sganciamento della comunità pennasca da Ventimiglia, aveva concesso a Penna un'ampia autonomia, come attestato dai primi Statuti del paese, approvati nel 1272 dal capitano di Genova, ammiraglio Oberto Daria, divenuto signore di Dolceacqua. li castellano forestiero, mandato da Genova, aveva il compito di mantenere l'ordine pubblico e di garantire la pubblica sicurezza e il buon costume, oltre a custodire e difendere il castello insieme ai servitori armati che avevano l'incarico di presidiare il maniero in caso di necessità.
Nel 1273 le milizie agli ordini del conte di Provenza Carlo d'Angiò, dopo essersi fatti consegnare Mentone e Poipino da Guglielmo Vento, puntarono su Penna, dove non vi era presidio castellano e i Pennaschi, non essendo in grado di opporre da soli una valida resistenza e persa ogni speranza di soccorso da parte del vicario di Genova, decisero di consegnare il paese e il castello alle truppe provenzali, che subito dopo calarono in forze su Ventimiglia, prendendone facilmente possesso. Nella primavera dell'anno seguente Penna e Ventimiglia furono però riconquistate da Arnaldo Spinola, nuovo vicario di Genova nella Riviera di Ponente, mentre nel 1276, mediatore papa Innocenzo V, Genova e Carlo d'Angiò si rappacificarono con reciproca remissione delle ingiurie e dei danni. Nel 1317 ripresero tuttavia gli scontri tra guelfi e ghibellini per il possesso di Genova e delle Riviere, che si conclusero l'anno successivo con l'assegnazione per dieci anni al re Roberto d'Angiò e al papa Giovanni XXII di Genova e dipendenze, ma la lotta si protrasse ancora a lungo fino alla pace siglata presso il lago Pigo a Pigna il 9 febbraio 1331, in base alla quale si stabilì che i guelfi non avrebbero molestato in alcun modo o arrecato danno ai ghibellini transitanti nel loro territorio, e viceversa. Tale convenzione venne firmata dal bailo di Ventimiglia Carlo Grimaldi a nome anche dei luoghi di Penna, Gorbia, Mentone, Roccabruna e Sant'Agnese e dai sindaci di vari paesi dell'entroterra. Cessata la signoria di re Roberto su Genova e dipendenze, Penna era stata occupata 1'8 gennaio 1334 da Emanuele Vento previo il pagamento di 139 genovine al ventimigliese Francesco Priori, che ne era stato castellano. Nel corso del dominio di Emanuele Vento, durato otto anni, Penna venne governata dal castellano Brunello, congiunto di Emanuele, che fece restaurare il castello, sistemò la strada che conduceva al maniero e la presidiò con sei servitori armati, poi raddoppiati nel 1340. Nel dicembre 1341Emanuele Vento riconsegnò quindi Penna alla Repubblica di Genova, che lo rimborsò delle spese sostenute per occuparla, custodirla e conservarla, oltre a quelle fatte per restaurare il castello e sistemare la strada d'accesso allo stesso per una somma complessiva di circa milletrecento genovine. Nel 1340 erano stati intanto approvati gli Statuti della Comunità di Penna, che concernevano reati, imputati e pene, in base ai quali erano perseguiti l'omicidio, il tradimento, la falsità in giudizio, il furto, il danneggiamento, l'incendio, le lesioni, le ingiurie e le offese, oltre ai debitori morosi, mentre non erano perseguiti i bestemmiatori. Per i reati più gravi, quali l'omicidio, il tradimento, la falsità in giudizio e le lesioni che avessero comportato la perdita di qualche parte del corpo, gli Statuti non stabilivano la pena, ma mettevano l'imputato a disposizione delle autorità giudiziarie di Genova, alle quali spettava il diritto di punire i colpevole come meglio avessero creduto.
Alla fine del Cinquecento la comunità pennasca divenne una podesteria con a capo un podestà nominato dal governo genovese in sostituzione del castellano. In seguito Genova concesse al Consiglio locale la facoltà di nominare annualmente il podestà, come aveva fatto per il console, a patto che venissero rispettate scrupolosamente norme atte ad assicurare la segretezza del voto. La facoltà di scegliere, tra le gente del luogo, la persona che tutelava l'ordine, giudicava i reati minori, vigilava la comunità e rappresentava la Repubblica di Genova, costituiva uno dei privilegi che risultavano dalle pergamene gelosamente custodite dalla comunità. Le multe stabilite dagli Statuti andavano invece una volta interamente al castellano, tranne quelle applicate ai forestieri che si stabilivano nella comunità senza autorizzazione, della quale il castellano percepiva soltanto la metà, andando l'altra a favore della comunità. Erano inoltre numerose le disposizioni che regolamentavano minuziosamente la pesca, la circolazione stradale e lo sfruttamento dei boschi, dei gerbidi, delle ripe e delle terre. Il governo della comunità era affidato ad un «Parlamento generale», che riuniva tutti i capifamiglia di Penna e si riuniva normalmente in un giorno festivo per deliberare sugli affari di maggiore importanza, mentre gli affari minori, costituiti soprattutto dalla riscossione delle imposte e dal pagamento delle spese della comunità, erano affidati ai sindaci, i quali potevano anche consultarsi con il Consiglio comunale per la risoluzione dei casi più controversi. L'amministrazione della giustizia era invece affidata ad un'apposita «Corte di giustizia», che si riuniva generalmente nella piazza principale del paese oppure davanti alla Casa comunale, mentre successivamente le udienze si sarebbero tenute nella Casa comunale quando non avevano luogo nella capitaneria di Ventimiglia. A causa del progressivo indebitamento della comunità, si rese necessaria una «riforma» di alcune parti degli Statuti, che venne stabilita nel corso della riunione del Parlamento pennasco tenuta il 23 ottobre 1605 alla presenza di tutte le autorità comunali e del capitano di Ventimiglia Giovanni Battista Chiavari, e poi definitivamente sanzionata dal Senato della Repubblica il 18 gennaio 1606. In base ai due nuovi «capitoli» introdotti nell'occasione si approvarono alcune norme per evitare l'infeudamento della cariche in poche persone, che era la causa principale dei guai verificatisi, mentre venivano anche stabilite precise disposizioni atte a regolamentare precisamente la riscossione delle tasse e delle entrate comunali da parte dei sindaci, che dovevano rendere conto della loro attività in un «libro comune», sulla cui regolarità vigilava anche il capitano residente a Ventimiglia e i «sindicatori della Riviera di Ponente», che ogni anno avevano l'incarico di sindacare a Ventimiglia l'operato dei pubblici ufficiali della comunità di Penna.
Nel corso del secolo XV il castello di Penna fu quasi sempre governato dai Daria di Dolceacqua, e in particolare da Enrichetta, al quale il governo genovese, temendo le mire espansionistiche del duca di Savoia, che nel 1388 aveva acquisito il territorio nizzardo, affidò l'incarico verso il 1420 di vigilare sui paesi della Val Raia che gli appartenevano e soprattutto su quello di Penna per la sua notevole importanza di natura strategica. A causa del mancato presidio del castello da parte degli inviati del signore di Dolceacqua, nel novembre 1451un bandito di Sospello chiamato Giovanni Brandetta si impadronì proditoriamente del paese e del castello a capo di centosessanta uomini. Da Genova le autorità della Serenissima, vivamente preoccupate anche per gli aiuti forniti di soppiatto ai banditi da parte del duca sabaudo, incaricò Enrichetta Daria di riprendere Penna e ordinò al podestà di Ventimiglia Lodisio Lario di coadiuvarlo con le milizie della città. Un contingente di milizie ventimigliesi e soldati doriani riuscirono quindi ad espugnare il castello e a far prigioniero lo stesso Brandetta, che fu mandato a Genova sotto scorta, mentre ai primi di febbraio del 1452 anche gli ultimi assedianti si arresero e il castello ritornò sotto il dominio dei Daria. Dopo la morte di Enrichetta, avvenuta nell'agosto del 1458, la vedova Leonora, a nome suo e del figlio minorenne Bartolomeo, rinunciò alla custodia di Penna per la tenuità delle paghe, interessando della questione il governatore di Genova, allora in signoria del re di Francia, anche se i Daria avrebbero continuato a reggere il castello di Penna almeno fino al 1495, quando il castello era custodito dai fratelli De Pechis, ai quali, il 16 marzo dell'anno successivo, i governatori di Genova per conto del duca di Milano Agostino e Giovanni Adorno ordinarono di dare Penna in pieno possesso a Nicola Galiano, che lo stesso giorno prestò solenne giuramento di essere fedele e leale nei confronti del duca di Milano.
Succeduta al duca di Milano la Francia nella signoria di Genova nell'ottobre del 1499, il re Luigi Xli affidò il governo del castello di Ventimiglia e di quello di Penna al suo ciambellano Renato Parent, visconte di Rouen, al quale il 7 novembre successivo i Pennaschi giurarono fedeltà. Un anno dopo il visconte di Rouen rinunciò però all'incarico e il re di Francia, con lettere patenti del 22 dicembre 1500, nominò capitano e governatore dei castelli di Ventimiglia e di Penna il signore di Monaco Giovanni Grimaldi, che il 3 febbraio 1501ricevette a Monaco il giuramento dei rappresentanti degli abitanti di Penna e il 7 quello dei delegati di Ventimiglia, mentre il 17 seguente egli stesso prestò a sua volta giuramento nelle mani del governatore di Genova De Ravenstein. Il governo monegasco su Penna fu però caratterizzato da continue angherie e vessazioni sulla popolazione, tanto che alla fine il signore di Monaco sostituì nel 1504 il luogotenente Matteo Grimaldi con Francesco Ramoino da Porto Maurizio, ma la situazione precipitò dopo l'assassinio di Giovanni Grimaldi da parte del fratello Luciano, al quale Luigi Xli ingiunse, con lettere patenti del 1° febbraio 1505, di rimettere il governo di Penna e di Ventimiglia al governatore di Genova, che mandò una commissione a mettere a posto la situazione. Terminata quindi la signoria francese su Genova nel giugno del 1513, Penna tornò ad essere governata direttamente dalla Repubblica mediante il castellano, ma lo sarebbe restata per pochi mesi in quanto, il 25 febbraio 1514, il doge Ottaviano Fregoso cedette al Banco di San Giorgio il pieno possesso di Ventimiglia con tutte le sue pertinenze, ville e giurisdizioni, tra le quali figurava, sebbene non espressamente nominata, anche Penna, allo scopo di preservarle dal pericolo di cadere in dominio straniero e di promuoverne il benessere. Nella seconda metà del 1517 gli Anziani della Serenissima affidarono formalmente al Banco di San Giorgio la custodia, la cura, il governo e la protezione di Penna, i cui due sindaci Francesco lperti e Pietro Gastaldi si recarono nel novembre successivo a Genova dove ottennero dai dirigenti del Banco il riconoscimento degli Statuti della comunità e di quasi tutte le loro richieste, informandone quindi il castellano Balanco al quale venne raccomandato di fare buona custodia e di amministrare imparzialmente la giustizia.
In seguito all'uccisione a tradimento del signore di Monaco Luciano Grimaldi da parte di Bartolomeo Doria il 22 agosto 1523, il vescovo di Grasse Agostino Grimaldi, che era successo al fratello Luciano sul trono monegasco, invase la Val Roia e occupò anche il castello della Penna, che ritornò tuttavia al Banco di San Giorgio già nel 1527, come è confermato dalla riscossione che vi fece nel 1529 il castellano Nicola Imperiali Foardo di due annualità del tributo annuo di venti genovine che la comunità pagava al Banco. Nel corso della dominazione del Banco venne rinforzato il presidio a difesa del castello, soprattutto nel 1540, in previsione di un possibile attacco da parte dei Barbareschi e nel 1542, in seguito delle lotte che si svolgevano nell'alta Val Roia. Il Banco provvide pure alla riparazione del tetto, dei muri perimetrali, dell'ingresso, delle stanze e della torre del maniero pennasco. A seguito della decisione del Senato genovese di riprendersi tutti i luoghi di cui era stato ceduto il dominio al Banco di San Giorgio, e che nel frattempo non erano stati perduti, Penna e Ventimiglia tornarono alla Repubblica di Genova nel 1562. La consegna di Penna a Genova venne solennemente celebrata il 25 agosto alla presenza del Parlamento generale riunito nella chiesa parrocchiale di San Marco, dove tutti gliintervenuti giurarono in ginocchio fedeltà, soggezione e vassallaggio eterni alla Repubblica genovese. Il 26 febbraio 1552 l'airolese Antonio Trucchi aveva intanto venduto al ventimigliese Antonio de Lorenzi un pezzo di terra nel territorio di Penna denominato Fanghetto al prezzo di cento libbre. Tre anni dopo, nel 1555, la terra venne ricomprata dal Trucchi allo stesso prezzo e poi passò ai discendenti del Trucchi, ai quali si unirono ben presto numerosi altri nuclei familiari, che fondarono il vero e proprio nucleo abitato di Fanghetto, che avrebbe quindi costantemente incrementato la sua popolazione fino ai primi decenni del secolo scorso. Nel 1613 scoppiò una guerra tra i Savoia e la Spagna per la successione al Monferrato e molti soldati spagnoli furono inviati nel 1614 a Mentone, Olivetta e Penna, mentre altre truppe spagnole attaccarono in forze Castellar, ma furono respinte dalle milizie sabaude provenienti da Sospello. Le forze sospellesi tennero inoltre una guardia in Albarea fino al 18 gennaio 1615, mentre un'altra guardia di quindici uomini fu posta in località Caj per vigilare i movimenti degli Spagnoli di stanza a Penna e a Olivetta. Nel giugno sopravvenne la pace e la tranquillità ritornò, sebbene per pochi anni, nelle comunità sospellese e pennasca. Nel luglio del 1625 si verificò invece un ulteriore tentativo sabaudo di conquista del paese approfittando del tradimento di un castellano comprato con denaro piemontese che consegnò al nemico borgo e castello, ma successive trattative diplomatiche restituirono a Genova la loro ambita roccaforte nell'estremo Ponente ligure. Durante la successiva guerra tra la Repubblica di Genova e i Savoia del 1672, il borgo, valorosamente difeso dagli abitanti guidati dall'animoso comandante pennasco Gerolamo Maria Gastaldi, che ebbe i due figli fatti prigionieri dai Sabaudi in ritirata, sopravvisse a due assalti, benché dovesse registrare la distruzione delle chiese dell'Annunziata e di San Bernardo. Un terzo più deciso attacco dei Piemontesi, sorretti dall'artiglieria e ben comandati da don Antonio di Savoia, fratello del duca, venne sferrato poco tempo dopo e finì con un duro assedio durato cinque giorni. Di fronte alla minaccia di don Antonio di muovere contro il fortilizio con una forza di 25.000 uomini (ma in realtà erano molti meno), Gastaldi rispose impavidamente che gli assediati avrebbero resistito ad oltranza, ma nella stessa notte i Savoiardi si ritirarono in buon ordine in quanto Penna aveva ormai perso gran parte della sua importanza dopo che i duchi sabaudi erano rientrati in possesso dei loro tradizionali domini di
Oneglia e del Colle di Nava, il cui itinerario di penetrazione verso settentrione costituiva una valida alternativa a quello del Colle di Tenda. Il ritiro delle truppe piemontesi fu accolto con giubilo dalla popolazione pennasca, che tributò grandi festeggiamenti al «salvatore» di Penna Gastaldi e alle donne del paese che avevano combattuto a fianco degli assediati dimostrando coraggio e forza di carattere.
Durante la guerra di successione spagnola Penna venne nuovamente coinvolta nel conflitto tra austro-inglesi da una parte e franco-spagnoli dall'altra. Il 22 agosto 1705 un contingente francese al comando di un certo Cotò arrivò improvvisamente in paese proveniente da Breglio e si diresse verso il castello, minacciando il sindaco Giachetto Cotta, che aveva detto al comandante di far suonare le campane per far accorrere la gente dalle campagne, di condurlo in prigione a Breglio, ma alla fine Cotò, vista la preoccupante affluenza di popolazione, pensò bene di andarsene con i suoi soldati.
Pochi giorni dopo il commissario di Sanremo, informato dell'accaduto, ordinò al podestà pennasco di mettere le guardie al castello di giorno e di notte rafforzandole di notte con otto uomini e un caporale e di non introdurvi in nessun caso dei forestieri. Ai primi di maggio del 1744 il paese fu nuovamente occupato da duemila soldati spagnoli, che si trattennero a Penna e a Olivetta per alcuni giorni causando molti danni agli alberi e ai seminativi. Dopo alterne e drammatiche vicende, che videro Penna più volte saccheggiata dalle truppe nemiche, il paese fu occupato dalle forze sabaude nell'ottobre del 1746. Ai primi di giugno del 1747 il barone di Leutrum fece rinforzare il presidio di Penna, mentre tra il 23 e il 24 ottobre successivi i franco-spagnoli inviarono truppe per rioccupare Penna e Olivetta, da dove 250 soldati austro-piemontesi al comando del marchese Balestrini partirono nella notte tra il 21 e il 22 gennaio 1748 a volta di Airole, che rappresentava un posto avanzato della linea trincerata nemica. 1118 ottobre 1748 venne infine stipulato il trattato di pace tra i franco-spagnoli e gli Austriaci e il re di Sardegna Carlo Emanuele lii, che tentò di acquisire l'ultimo tratto della valle del Raia, e in particolare Penna, ma senza successo in quanto vi si oppose pervicacemente la Repubblica di Genova, la quale, sorretta dalla Francia, poté conservare tutto il suo territorio. Nell'aprile del 1794 le truppe rivoluzionarie francesi al comando del generale Massena invasero la Riviera di Ponente, nonostante la Repubblica di Genova avesse proclamato la propria neutralità, e così tutto il Nizzardo e l'estrema Liguria occidentale furono occupate dalle truppe francesi, mentre nella zona imperversavano bande di briganti, i cosiddetti «barbetti», che si macchiarono di delitti e atrocità di ogni tipo ai danni della inerme popolazione. Dopo la proclamazione della Repubblica Ligure nel 1797, Penna entrò a far parte, con Airole e Bevera, del distretto della Raia con Ventimiglia capoluogo, mentre ai primi di aprile del 1800 gli Austro-sardi rioccupavano Ventimiglia e i paesi della bassa Val Raia, ma, premuti dai Francesi, furono costretti a sgombrare la valle già alla fine dello stesso mese di aprile. In seguito Penna, elevata a cantone comprendente Olivetta, fece parte della Giurisdizione delle Palme con Sanremo capoluogo, dopodiché, nel 1803, il paese, perduta la dignità cantonale, fu aggregato al cantone di Ventimiglia. Nel giugno 1805 Penna e il resto della Liguria vennero poi annesse all'Impero francese e il borgo, che continuò ad essere incluso nel cantone di Ventimiglia, fece parte del Dipartimento delle Alpi Marittime con capoluogo Nizza nell'ambito del secondo circondario con capoluogo Sanremo. Dopo la caduta di Napoleone, che venne accolta con giubilo pure a Penna per le continue guerre che avevano richiamato tanti Pennaschi alle armi e l'oppressione fiscale che aveva dissanguato le ricchezze accumulate con tanti decenni di duro lavoro, il paese passò con il resto della Liguria sotto il Regno di Sardegna secondo i deliberati assunti dal Congresso di Vienna nel dicembre del 1814 ed entrati in vigore nel gennaio del 1815. In seguito al riordinamento delle circoscrizioni territoriali attuato dal governo sabaudo nel 1818, Penna rimase nella provincia di Sanremo, facente parte della Divisione di Nizza. Dopo la cessione del Nizzardo alla Francia con il trattato del 24 marzo 1860, quando divennero francesi anche Sospello, Breglio e Saorgio, mentre Briga e Tenda restavano al Regno sardo, Penna fu annessa alla Provincia di Porto Maurizio, istituita con il regio decreto n. 4176 del 14 luglio 1860, rimanendo sotto l'amministrazione delle circoscrizioni minori di Sanremo e Ventimiglia, mentre con lo stesso decreto Briga e Tenda venivano aggregate alla provincia di Cuneo.
Il 26 ottobre 1862 venne quindi emanato il decreto reale n. 942 con la quale il re d'Italia Vittorio Emanuele Il, su proposta del ministro dell'Interno e visti i ricorsi della località interessata, autorizzava il Comune di Penna ad assumere la denominazione di «Piena» giusta la deliberazione assunta dal Consiglio comunale pennasco il 12 agosto precedente. Passato praticamente indenne dal terremoto del febbraio 1887, che non provocò danni a cose o persone tranne il rotolamento di qualche masso sul monte di Libri, per cui le autorità ministeriali concessero un mutuo di 1900 lire ad un privato, il Consiglio comunale di Piena, nelle sedute del 20 marzo e del 30 novembre 1889, chiese di essere autorizzato a trasferire la sede municipale dalla frazione omonima a quella di Olivetta San Michele e a cambiare il nome del Comune in quello di «Olivetta San Michele». Entrambe le richieste furono autorizzate con regio decreto n. 6700 emanato da re Umberto I il 16 marzo 1890 e controfirmato dal presidente del Consiglio Francesco Crispi. Dopo gli anni della prima guerra mondiale, in cui caddero vari soldati di Olivetta e delle sue frazioni, il paese venne sfollato ai primi di giugno del 1940 in seguito alla breve guerra contro la Francia e gli Olivettani, insieme agli Airolesi, raggiunsero San Giovanni Curane in provincia di Alessandria, da dove rientrarono ai loro borghi di origine il 1° luglio successivo. Alle prime ore del mattino del 9 agosto 1944 colonne naziste partirono da Olivetta San Michele e dai paesi vicini per effettuare un massiccio rastrellamento, del quale venne edotta la popolazione locale con manifesti affissi contemporaneamente dal Comando tedesco a Olivetta ed Airole. Il 28 ottobre successivo il Comando tedesco fece affiggere un nuovo manifesto con il quale si invitava tutta la popolazione di Olivetta San Michele a radunarsi nella piazza centrale del paese. Sul calar della sera gli Olivettani e gli Airolesi rastrellati sostarono a Fontan, anch'esso evacuato in poche ore, dove si accamparono in fienili, nella chiesa e nel cinema. Il 30 ottobre i rastrellati proseguirono quindi per Tenda con scorta armata aumentata e da lì raggiunsero la stazione di Cuneo su vagoni bestiame, arrivando poche ore dopo a Torino. Al loro rientro in paese, dopo oltre otto mesi, gli Olivettani trovarono un borgo in gran parte distrutto dai bombardamenti e dai violenti saccheggi operati nel corso della guerra dai nazifascisti. Al termine del conflitto furono numerosi gli abitanti di Olivetta e delle sue frazioni caduti per cause belliche, tra i quali anche cinque caduti sul fronte russo.
Il paese doveva comunque vivere ancora momenti molto tristi e dolorosi in seguito all'occupazione di Briga e Tenda da parte delle truppe francesi negli ultimi giorni di aprile del 1945 e alla successiva attività del Comité de rattachement de Tende et de la Brigue de Nice à la France (Comitato di ricongiunzione di Tenda e di Briga alla Francia) che fece chiudere le scuole italiane e proibì l'uso della lingua italiana negli atti pubblici e nella vita civile anche a Piena ed Olivetta. Nonostante un'intensa attività da parte delle autorità centrali e locali per evitare ingiuste e dolorose cessione di territori da sempre italiani alla Francia, il 31 agosto 1946 il giurì internazionale della Conferenza di pace di Parigi sanzionò ufficialmente e definitivamente la cessione alla Francia di alcuni territori di confine, tra i quali tutta l'alta Val Raia con Briga e Tenda e nella bassa valle le ex frazioni di Olivetta San Michele Libri e Piena, che divennero francesi allo scoccar della mezzanotte del 16 febbraio 1947 assumendo rispettivamente i nomi di Piene-Haute e Piene-Basse e di Libre. Ai termini della Costituzione francese, che subordinava la validità dell'annessione di nuovi territori alla Francia al consenso delle popolazioni interessate, il 12 ottobre 1947 ebbe luogo la relativa votazione nei paesi recentemente annessi, tra i quali anche Piena e Libri, con scontato risultato nettamente favorevole all'annessione e pochissimi voti contrari, tra cui più della metà a Piena e Libri, dove peraltro avevano preso parte alla votazione numerosi emigrati della Costa Azzurra, molti dei quali avevano lasciato da molti anni il paese di origine. Piena e Libri, non avendo sufficiente importanza per essere costituiti in comunità autonome, furono aggregate al Comune francese di Breil-sur-Roya, dal quale dipendono ancor oggi. Il 22
febbraio 1948 il commissario prefettizio Lorenzo Limon, assistito dal segretario comunale Giovanni Dugini, aveva intanto adottato ufficialmente il nuovo gonfalone del Comune di Olivetta San Michele, mentre, con decreto presidenziale n. 60 del 14 gennaio 1959, il presidente della Repubblica Giovanni Granchi, vista la deliberazione del Consiglio comunale di Olivetta San Michele del 1 dicembre 1957 e la deliberazione del Consiglio provinciale di Imperia del 21 febbraio 1958 che aveva espresso parere favorevole alla relativa proposta, autorizzava il Comune dell'estremo Ponente ligure a trasferire la sede comunale dall'attuale capoluogo alla frazione di Olivetta. Negli ultimi decenni sono state curate, come nei tempi passati ma ormai con scarsa incidenza sulla capacità produttiva locale, le tradizionali attività economiche legate alla viticoltura e all'olivicoltura, oltre alla raccolta di erbe officinali ed essenziali per la distillazione della lavanda, mentre si è fatta sempre più pressante la dipendenza economica dai centri rivieraschi dove molti locali si recano a prestare servizio in diversi settori operativi ed impiegatizi, insieme ovviamente ai lavoratori transfrontalieri che risultano occupati nelle principali città della Costa Azzurra e nel Principato di Monaco. Recentemente ha assunto sempre maggiore rilevanza il comparto turistico, che può avvalersi di una ricezione basata su due bar/ristorante a San Michele e Fanghetto un ristorante, una sosta per caravan e camper, un bed and breakfast e un bistrot di paese ad Olivetta, mentre il paese costituisce anche il punto di partenza per suggestive escursioni sul Monte Grammondo a 1378 metri di altitudine.