Costruito attorno ad una torre di guardia del XII secolo il castello di San Terenzo ha una caratteristica che inorgoglisce i santerenzini: è stato edificato dagli abitanti del paese. Ad attestarlo è un documento del 29 luglio del 1588 firmato dal podestà Gregorio Cadamartori incaricato dalla Repubblica di Genova di censire le fortificazioni del golfo spezzino. Proprio perché costruito in economia e in epoche diverse, la fortificazione manca di un progetto d’insieme ed è una combinazione di stili architettonici. Attorno alla torre quadrata che ne rappresenta la parte più antica è stata realizzata una prima cinta di mura databile tra il XIV e il XV secolo alla quale, nel Cinquecento, è stata aggiunta la seconda più esterna che è stata poi ulteriormente rafforzata da lavori eseguiti dalla Repubblica di Genova quando la fortificazione santerenzina venne armata di cannoni e inserita nel sistema difensivo del golfo.

Risale al 1605 il progetto con cui la Repubblica di Genova ha rinforzato l’intero sistema difensivo del Golfo, con la costruzione di nuove fortificazioni e l’adeguamento delle esistenti. Da allora, al piccolo castello di San Terenzo, con la sua torre alta circa 10 metri, posta a quasi 40 metri sul livello del mare, è stato affidato il compito di difendere il settore nord della baia, in aiuto del vicino e più imponente castello di Lerici.

Pur avendo origine ben diversa rispetto a quest’ultimo, il castello di San Terenzo, contribuisce a rendere il Golfo di Lerici unico nel suo genere: una baia racchiusa da due manieri, uniti, oggi, da una piacevole passeggiata di circa 2 km, ma divisi, in passato, da insenature, spiagge e promontori.

All’inizio del secolo scorso il castello di San Terenzo è stato trasformato in stazione fotoelettrica, presidiata da personale militare, successivamente in una caserma ed occupato, durante la Seconda Guerra Mondiale, dalle truppe tedesche.