Il Palazzo Baronale, già Castello Aragonese, è uno dei principali monumenti della cittadina. I recenti restauri hanno evidenziato tracce di una porta d’ingresso e di un antico fossato risalenti alla fine del ‘300. Nel 1486, sotto il feudatario Antonello Gesualdo, Martano aveva il castello, le mura ed il fossato. Dentro queste fortificazioni si serrarono i martanesi alla notizia dell’assalto turco di Otranto nel 1480. Dopo la riconquista aragonese, del 1481, il castello venne ricostruito. Sorse a nord-est, attaccato alle case dell’antico abitato dal lato sud e, protetto da un fossato, si raccordava, con i suoi massicci volumi, alle mura cittadine, difese da cinque torri poste a presidio della Terra (il Borgo). Di questo fortilizio di marca aragonese, rimangono la torre di via Marconi e l’imponente torrione cilindrico del castello che presenta la base scarpata, il toro marcapiano ed, all’interno, tre feritoie ed una cannoniera strombata. Dalla superiore piazza d’armi, con falconetti, colubrine ed archibugi si sparava contro gli aggressori.
Sotto i Trani, nella seconda metà del ‘600, venne trasformato in palazzo baronale dall’esimio architetto coriglianese Francesco Manuli che sostituì la vecchia facciata con l’attuale, inserendo il bel portale con l’originale motivo delle bugne inclinate. Pregevole la balaustra della scalinata, animata da foglie-volto con valenza apotropaica. Nei piani superiori sono interessanti alcuni pavimenti maiolicati e le volte a mattrotta dipinte con fiorami, trombe, pifferi, tamburelli, festoni, scene bucoliche e scorci di campagna. La facciata del castello in via Pomerio, nella seconda metà del ‘700, sotto i Gadaleta, venne rifatta integralmente dai maestri martanesi Donato Saracino e Tommaso Pasquale Margoleo, molto attivi nella Grecìa Salentina.
Alla fine del Secolo XIX il palazzo divenne di proprietà del barone Mario Comi che proseguì nell’opera di ammodernamento della struttura abbattendo il torrione destro della facciata principale.