Castello Aragonese, era parte di un ampio sistema difensivo destinato a proteggere la vicina città di Otranto dagli attacchi nemici dall’entroterra. Nel XV secolo, epoca di costruzione dell’edificio, Otranto rivestiva un ruolo importantissimo nella duplice veste di porto e capoluogo della Terra d’Otranto.
La fortezza, della quale rimangono solo due torrioni circolari collegati da una cortina semidiroccata, era a pianta quadrata. Agli angoli, quattro torri (tre circolari e una quadrata), ne garantivano la difesa. Circondata da un fossato, ancora visibile nella prima metà del secolo scorso, risultava accessibile attraverso un ponte levatoio orientato a est. All’indomani del tragico sacco di Otranto per mano turca, nel 1480, il castello fu oggetto di sostanziali modifiche volte ad adeguarne la struttura alle nuove esigenze militari, conseguenza dell’utilizzo sempre più preponderante delle armi da fuoco. Nel 1724, parte delle mura e della piazza d’armi fu interessata dalla costruzione del Palazzo Vernazza, ora sede del Municipio. Negli anni del dopoguerra (1946–56) venne colmato il fossato, distrutto il ponte levatoio e furono abbattute alcune parti dell’edificio in stato di degrado che ne compromisero definitivamente l’aspetto originario.