De aanvallen van de piraten het "Vila Bela da Princesa", oude naam van Ilhabela, zij waren frequent. Om het eiland te beschermen waren de diverse forten die voor kanonnen worden verdedigd geweest
geconstrueerd. volgens verhaal van Anthony Knivet, de piraat Thomas Cavendish zou een fabulososchat binnen begraven hebben het Strand van Castilians in 1591. Nog ontdekt niet. Het kanon verschijnt vandaag op de wapenschilden aan het eiland.