L' attuale edificio e' il risultato dell'accorpamento di due corpi di fabbrica più antichi: quello medioevale e quello cinquecentesco. Il portale di ingresso presenta il vano carraio definito da stipiti a bugne lisce, arco a tutto sesto e maschera di chiara ascendenza greco-romana. L’arco è contenuto all’interno di una struttura esterna, definita da colonne bombate su dadi con capitelli compositi e trabeazione con fregio scolpito e decorazioni a dentelli e ad ovoli e lancette. Le colonne sostengono una balconata con forte aggetto, una sorta di protiro balaustrato. In asse è collocata una loggia sostenuta da mensole. Attraverso l’androne con volta lunettata e stemma araldico, si raggiunge il cortile a sghembo caratterizzato da una loggia interna a due ordini e a tre arcate, non in asse con il portale. Lo scalone monumentale è collocato in asse con l'androne. Sui pilastrini d'imposta delle colonne con capitelli compositi sono scolpiti gli stemmi della potente famiglia Sylos-Sersale. Su Vico San Pietro, si conserva ancora la primitiva facciata del palazzo, con il maestoso portale con bugne toscane radiali ed emblema araldico dei Sylos e dei Giannone in chiave di volta