Il Castello fu probabilmente costruito in età normanna con pianta quadrangolare costituito da due edifici al cui centro si innalza la torre tuttora esistente[3]. Inizialmente questa fortezza era costituita solo dalla torre, risalente al X o XI secolo, da cui era possibile controllare le quattro porte della città e le vie alle quali era collegata: a ovest era possibile controllare la via Traiana verso Canosa di Puglia, a nord e a sud si poteva tenere sotto controllo la via per Gravina e le coste del mare Adriatico, mentre da est si poteva guardare il centro abitato[3]. Nel XV secolo fu costruita la cannoniera e divenne roccaforte prima dei francesi e poi degli spagnoli[3]. Dal 1510, il Castello perse la sua funzione militare e divenne residenza conteale dei Carafa[3]. Col passare del tempo il complesso fu totalmente rivoluzionato e i due settori del Castello che si diramavano dalla torre quadrangolare, furono ristrutturati e adibiti a palazzi. Dell’antico Castello è tuttora esistente soltanto la torre e l’atrio.