Eretto dagli Orsini del Balzo nel 1413, il castello subì tra il XVII e il XVIII secolo numerose modifiche che ne trasformarono l’aspetto in un palazzo signorile. Lateralmente sono ancora visibili i tratti propri dell’architettura militare. L’edificio, a pianta quadrangolare, è dotato di robuste mura perimetrali a base scarpata. Agli angoli, quattro garitte consentivano la difesa della struttura da tutti i lati. La facciata si presenta schematicamente suddivisa in tre parti, la centrale occupata da un austero portale bugnato sormontato da una lunga epigrafe. Nell’ampio cortile interno, la vera di un pozzo riporta incisa la data 1752. Le maggiori trasformazioni architettoniche si ebbero con il passaggio della proprietà dalla famiglia Personè ai Granafei nel 1747. I marchesi Granafei di Sternatia ampliarono infatti il palazzo con un’ala sul lato orientale e realizzarono un lussureggiante giardino dominato da una fontana di gusto settecentesco, sopra la quale spicca lo stemma nobiliare.