Il Palazzo, in origine castello, fu costruito durante la feudalità della famiglia Castriota-Scanderbeg dal Re Ferdinando I d’Aragona detto il Cattolico. Fu residenza dell’Arcivescovo di Otranto Adarzo de Santander (1654-1674). La facciata in Piazza Alighieri è impostata sulle antiche mura e presenta un poderoso portale sormontato dallo stemma degli Spinola.