Le prime notizie sul castello risalgono alla seconda metà del XV secolo, quando la sua edificazione segnò il passaggio dalla dominazione angioina a quella aragonese, che in città coincise con l’affermazione della famiglia Acquaviva. La struttura fu opera dell’architetto Giulio Antonio Acquaviva, duca di Atri e allievo di Francesco di Giorgio Martini. Probabilmente l’edificio fu concepito come ampliamento di una costruzione precedente, e si caratterizzò con un impianto quadrangolare cinto da mura e circondato da un profondo fossato. Il maniero era completato agli spigoli da quattro massicci torrioni a mandorla sporgenti; uno dei quali fu poi fatto ricostruire dal Guercio di Puglia dopo la rivoluzione neretina del 1647 scoppiata in concomitanza con la rivolta popolare di Napoli guidata da Masaniello; sicuramente tutto l’edificio si sviluppava su quattro livelli in cui erano distribuite circa 49 stanze.
Il Castello perse parte della sua consistenza quando fu oggetto di un decisivo rimaneggiamento che lo portò alla trasformazione in residenza civile della famiglia Personè tra la fine del XIX secolo e gli inizi del XX secolo, su progetto dell’ingegnere Generoso De Maglie di Carpignano Salentino. Di mirabile fattura rimangono i cornicioni della parte più alta delle torri, lievemente aggettanti, che poggiano su piccoli beccatelli a mensola. Anche la facciata principale, decorata con motivo a bugnato, è frutto del rimaneggiamento ottocentesco, e caratterizza oggi l’aspetto definitivo di questo ormai nobile palazzo che ospita la sede del Municipio.