Les attaques des pirates "au village de la belle princesse", vieux nom du Ilhabela, étaient fréquents. Pour protéger l´île, differents forteresses ont été construites defendues par des canons. Selon l'historien anglais Anthony Knivet, le Pirate Thomas Cavendish aurait enterré un fabuleux trésor sur la plage des Castelhanos en 1591. Il n´a pas encore été découvert jusqu´aujourd´hui. Le Canon figure aujourd´hui sur les armoirie de l´île.