Os ataques dos piratas a “Vila Bela da Princesa”, nome antigo da Ilhabela, eram freqüentes. Para proteger a ilha foram construídos diversos fortes defendidos por canhões. Segundo o relato de Anthony Knivet, o pirata Thomas Cavendish teria enterrado um fabuloso tesouro na Praia dos Castelhanos em 1591. Ainda não descoberto. O canhão figura hoje sobre as armas da ilha.