La famiglia Granafei sarebbe stata originaria di Costantinopoli da cui fuggì quando fu presa dai Turchi di Maometto II per rifugiarsi a Oria. Nel 1508 si trasferì a Brindisi in quanto Ferdinando d’Aragona offriva numerosi incentivi per ripopolare la città salentina. Il palazzo passò ai Nervegna nel XVIII secolo quando i Granafei decisero di trasferirsi a Mesagne.
La famiglia Nervegna, originaria di Ortona, agli inizi dell’Ottocento si stabilisce a Brindisi. Giuseppe, figlio di Vincenzo, svolge l’attività di commerciante: ha un negozio “in Largo di Porta Reale” e si occupa della compravendita di olio, avene e altri prodotti alimentari in particolar modo sulle piazze di Trieste, Venezia e Napoli. Nell’attività è affiancato dal cugino Domenico, figlio di Giustino. Entrambi sono ricordati da Nicola Vacca, in Brindisi ignorata, il primo come “carbonaro” facente parte della vendita carbonara nominata “Liberi piacentini”, il secondo, Domenico, come “settario graduato”.
Giuseppe, figlio di Vincenzo e Domenico, figlio di Giustino, originari di Ortona e “negozianti” di professione, sono i primi Nervegna a trasferirsi a Brindisi. Giuseppe da Anna Runcaldier, di Trieste, ha 8 figli (due dei muoiono ancora neonati) che lascia prematuramente nel 1833, a circa 50 anni. I suoi averi (immobili e terreni) saranno in parte venduti al pubblico incanto per ripartire l’eredità tra la moglie e i figli, tutti minorenni, Anna, Cristina, Giuseppe Francesco Camillo, Luigi, nato a Trieste (che morirà a 17 anni), Antonio e Maria Addolorata. I due figli Giuseppe e Luigi, come il padre, si dedicano ben presto alla compravendita di prodotti alimentari (avene, olio, grano, vino), costituendo nella seconda metà dell’Ottocento una “società commerciale”. Contemporaneamente accrescono il loro patrimonio acquistando masserie e terreni (oliveti e vigneti) a Brindisi e nei comuni limitrofi e immobili, tra i quali il palazzo Granafei, nel 1862.
Da segnalare anche una fornace di loro proprietà, sita in vico I del Monte.
Giuseppe in particolare, persona erudita e grande appassionato di archeologia e di numismatica (la preziosa raccolta dei volumi di numismatica è custodita presso la biblioteca pubblica arcivescovile “A. De Leo” di Brindisi), intreccia la sua attività imprenditoriale con la politica. È consigliere, come il fratello Luigi, della Camera di commercio di Terra d’Otranto sin dal dicembre 1864 e presidente della stessa dal 1869 al 1881, carica che ricopre battendosi per lo sviluppo del commercio dei prodotti locali attraverso lo sviluppo delle risorse del territorio (i porti di Brindisi, Taranto e Gallipoli) e la costruzione di infrastrutture adeguate (rete ferroviaria). In qualità di consigliere comunale e provinciale e console di Germania è parte attiva nel chiedere al governo e all’amministrazione locale maggiore attenzione all’adeguamento del porto di Brindisi, alle esigenze delle rotte commerciali internazionali e alla rapida conclusione dei lavori di ristrutturazione. In qualità di viceconsole britannico sin dagli anni sessanta si prodiga perché la classe commerciale inglese ponga maggiore attenzione al ruolo del porto di Brindisi una volta che sarà scalo della Valigia delle Indie. Sarà infine tra i proprietari terrieri che costituiscono nel 1901 a Brindisi il consorzio agricolo cooperativo. Giuseppe e Luigi Nervegna muoiono nel 1908 lasciando i loro averi in eredità a Oscar Maria, primogenito di Giuseppe: con loro cessa l’attività imprenditoriale della famiglia e pochi anni più tardi anche il palazzo sarà venduto.
Nei primi anni del XIX secolo la famiglia Granafei si trasferì a Mesagne, dove ha acquistato una serie di proprietà, e nel 1862 vendono il palazzo ai fratelli Nervegna, Luigi e Giuseppe, titolare di una società per il commercio di prodotti agricoli pugliesi che trasportava nei diversi porti dell’Adriatico attraverso le navi di Teodoro Titi, esponente di una delle più antiche famiglie brindisine giunte in città nel XVII secolo dalla Spagna. Nervegna inoltre fu proprietario anche di una fornace di laterizi, si batté per lo sviluppo della commercializzazione dei prodotti locali attraverso lo sfruttamento delle risorse dei porti del territorio e la costruzione delle infrastrutture adeguate, quali la ferrovia; viceconsole britannico, consigliere della Camera di commercio di Terra d’Otranto sino dal dicembre 1864, presidente nel giugno 1869 fino al 1881, consigliere comunale a Brindisi dagli anni Settanta e dal 1876 consigliere provinciale. Fu viceconsole olandese e console della Germania e dal 1901 tra i fondatori del Consorzio agricolo cooperativo. Ereditato dal padre e dallo zio nel 1908, Oscar Maria Nervegna vende l’edificio nel 1921 alla società anonima Piccolo Credito Cattolico, gestito dal sacerdote Lorenzo Monaco (1907), che a sua volta venderà a un privato 3 vani su via Giovan Battista Casimiro e il restante palazzo con giardino al Comune di Brindisi (1930) che lo trasformerà in sede del Tribunale, della Corte d’Assise e della Pretura fino al 1976.
“[…] Palatii m(agnifi)ci Nicolai Granafei, in vicinio S(anc)ti Pelini”: così per la prima volta, nel 1565, è documentata l’esistenza del palazzo (Visita pastorale di mons. Giovanni Bovio, arcivescovo di Brindisi); una prima e sintetica descrizione dell’edificio è del 1699: nel testamento dell’abate Francesco Luca Granafei, è definito un “palazzo, con sala, camere, magazzini, giardino ed altri membri superiori et inferiori […] detto il palazzo di Granafei nel vicinato di San Pelino”. L’inventario delle suppellettili del 1749 offre la descrizione della organizzazione settecentesca degli ambienti interni: al piano superiore una sala, l’anticamera “nella tramontana”, tre camere poste di seguito, la cappella, “la camera nell’arcova”, la “camera delle donne”, la camera laterale, la camera appresso, la cucina e la dispensa; a piano terra le “camere sottane”, comprendenti stalle e magazzini. Agli inizi dell’Ottocento nel Registro [Stato] delle Sezioni sono quantificati gli ambienti: “palazzo con 12 soprani e 3 sottani”, giardino e 5 magazzini.
Non risiedendo a Brindisi la famiglia Granafei cede spesso in affitto il palazzo: così risulta dall’inventario del 1749 e nell’atto di vendita del 1862 quando “trovandosi esso don Luigi Nervegna ad abitare [in affitto] la suddescritta e confinata casa palazziata, vi ha acquistato una certa affezione e quindi col germano [Giuseppe] si sono determinati a chiedere il favore ad esso Don Giovanni che loro ceda in vendita, perché non potrebbe mai bisognare a lui per ragione del suo domicilio ed anche perché essi signori Nervegna vorrebbero farvi delle riduzioni per renderla atta all’uso di ambedue”. Il palazzo sarà oggetto di interventi negli anni successivi: verso il 1880 risulta essere “composto da vani terreni 20, primo piano 20 e secondo piano vani 20” e giardino.