Sede dei baroni che dominarono su Castellaneta dal ‘500 alla fine del ‘700, l’edificio si trova a strapiombo sulla gravina, adiacente al Palazzo Vescovile. Edificato in epoca imprecisata presumibilmente sul luogo dell’antico castello normanno, subì nel corso dei secoli numerosi rimaneggiamenti, attraverso interventi di ristrutturazione ed ampliamento.

A pianta quadrata con robusto basamento, presenta la facciata ornata da un semplice portale e da alcune finestre con cornici con capitelli figurati. Un breve androne, fiancheggiato dalla Cappella, a pianta rettangolare e con volta a botte, ne costituisce l’accesso.

L’ampio cortile centrale si presenta decorato da eleganti cornici marcapiano e da stemmi di famiglie nobili della città.

La piazza antistante, dedicata a S.Maria Immacolata, è caratterizzata dalla presenza di palazzi con portale, sovrastato da balconi con balaustra in pietra e piccolo cortile interno (tipologia frequentemente attestata nell’architettura civile salentina).