Keveset tudni a kastélyról, mely a Rio Maggiore és a Rio Finale folyóvölgyeket elválasztó domb tetején áll. Történészek szerint a XIII. század második felében épült, és elsősorban védelmi célokat szolgált. A lakosság itt bújt el tengeri támadások esetén. A XIX. században temetőként működött, ma pedig kulturális programokat, konferenciákat rendeznek itt. A kastély könnyen megtalálható, ha követjük a táblákat. Bár meg kell másznunk néhány lépcsőt, a csodálatos kilátás mindenképpen megéri a fáradtságot.
A feltehetően XIII. századi kastélyból csak a bástya romjai láthatók, ma már színes házakkal körbeépítve.
A genovai nemesi család kastélyának henger alakú bástyája ma is Vernazza meghatározó látványossága. A Belforte toronyból csodálatos kilátás nyílik a falura és környékére.
A Kapucínusok hegyének lábánál, a tengerparton található a XVI. században épült Aurora torony, mely a legjobb állapotban megmaradt, és legmeghatározóbb a korábbi 13 torony közül.
A genovaiak által évszázadokon keresztül (XII-XVII. század) épített kastély meghatározza Portovenere látványát. A védelmi rendszer több tornya is jó állapotban megmaradt. A kastélyból fantasztikus a kilátás a Szent Péter templomra és a tengerre.
Eredetileg a Malaspina család építette a XI. században, majd a genovaiak újjáépítették a XIV. században. Ekkor épültek a városvédő falak is.