Il nucleo più antico del castello è costituito dal grande torrione posto a sud-est, a base scarpata e difeso da garitte e caditoie. Fu edificato nel XV secolo ed era dotato di un recinto fortificato e un ponte levatoio, secondo i dettami dell’architettura militare dell’epoca. Le prigioni collocate all’interno conservano ancora i graffiti dei prigionieri. Una cinta muraria con fossato, lunga 400 metri, completava il sistema di difesa insieme ad altre torri più piccole. A partire dal 1660, Stefano Gallone, principe di Tricase, ottenuti in permuta dall’Universitas il torrione e la vicina torre a ovest, iniziò la costruzione del palazzo sui resti di una preesistente dimora baronale. Utilizzando i massi della cortina muraria esistente fece realizzare il fronte del nuovo palazzo di aspetto austero, ingentilito da decorazioni nel portale sormontato dallo stemma dei Gallone. La facciata orientale si articola su tre piani e presenta un elegante loggiato archivoltato. All’interno, gli ambienti del pian terreno ospitavano un mulino, un forno, le stalle e i magazzini. Il piano nobile disponeva di cinque appartamenti e una sala del trono. A ricordare il fasto dei ricchi arredi rimangono i portali, le volte, i caminetti, gli stemmi, i fregi e due soffitti lignei. Numerosi ampliamenti furono commissionati tra Settecento e Ottocento, come la costruzione dell’ala a sud-ovest che inglobò la torre piccola, poi demolita nel 1960[18].