L’edificio è composto da tre piani: seminterrato, primo e secondo; quello inferiore risulta completamente fuori terra nel fronte sud - est e quasi completamente interrato verso via Accursio. Esso si presenta come un quadrilatero, con un’appendice su via Mazzini, intorno ad un cortile centrale quadrato. L’accesso al cortile risulta decentrato: l’androne con doppia volta a crociera è disposto fuori asse rispetto al cortile quadrato scandito da un porticato con archi a tutto sesto su tre lati. Il quarto lato non ha il portico, ma presenta uno scenografico portale, inquadrato da colonne composite scanalate, che costituisce l’accesso alla scala. Al piano superiore un esile loggiato con colonne e architravi lignei, fu, probabilmente, tamponato in seguito al terremoto del 1703. L’edificio, ed in particolare il cortile, è stato attribuito a Silvestro dell’Aquila, pseudonimo di Silvestro di Giacomo, per l’armonia delle proporzioni e la finezza dei particolari scultorei nel cortile; esistono testimonianze di relazioni tra la famiglia Carli e il noto scultore-architetto in strumenti notarili del 1502 e 1508. La disposizione dei setti murari è sostanzialmente organizzata per giustapposizione di cellule murarie che risultano dimensionalmente irregolari. Gli elementi costruttivi strutturali, a causa della sovrapposizione delle fasi edificatorie, risultano disomogenei per tipologia, per dimensioni e spessori, per materiali. Riguardo alle strutture verticali si osserva la presenza di almeno tre tipologie murarie: in pietra squadrata, in bozze irregolari di pietra, in laterizi. Il piano seminterrato presenta volte a botte e a crociera assai robuste realizzate in pietra o mattoni. Al piano del cortile diverse volte a crociera di mattoni disposti a coltello potrebbero risalire alla fase quattrocentesca; sono presenti anche solai lignei e; alcune volte a padiglione sono state probabilmente realizzate con laterizi in foglio. Al piano superiore si trova un solaio ligneo con dipinti del XV secolo, di notevole pregio, presso l’angolo sud-orientale del palazzo; sono, inoltre, presenti strutture di controsoffitto piuttosto importanti in legno; di particolare rilievo è la presenza, nel corridoio del loggiato, di una volta leggera, realizzata con un telaio di centine lignee e un intreccio di fascine con uno spesso strato d’intonaco rifinito all’intradosso con decorazioni a stucco. Le altre controsoffittature leggere, di minore pregio, sono in parte curvilinee e per il resto piane. Un grande ambiente affacciato su via Accursio è coperto con un solaio costituito da putrelle e voltine di mattoni in foglio presumibilmente della prima metà del Novecento. La struttura di copertura è costituita da travi inclinate o capriate di varia dimensione, appoggiate sui muri di facciata e di spina; il manto è costituito da tavolato e coppi. I fronti esterni, anche se sono stati modificati dall’apertura di alcuni vani in epoca recente, presentano diverse interessanti tipologie di cornici lapidee modanate, differenti in ciascun prospetto. Finestre quadrate con cornici a punta di diamante e finestre rettangolari con architrave e davanzale sporgente, con decorazioni a punte di diamante, sono riscontrabili rispettivamente al primo e al secondo livello del fronte su via Accursio. Il prospetto su via Mazzini mostra al piano inferiore un’ampia gamma di aperture, diverse nelle dimensioni e nelle cornici a seconda dell’appartenenza a corpi di fabbrica originariamente distinti; il livello superiore appare invece omogeneo. Anche i portali sono tutti differenti e dotati di cornici lapidee modanate e scolpite; il portale principale di accesso ha un disegno piuttosto semplice ed è stato sostituito ed integrato fra otto e novecento. I portali su via Mazzini sono pertinenti alla fase medievale e connotati dal tradizionale andamento ad arco acuto con cornice in aggetto ripiegato all’imposta. Su via Accursio si trova un portale realizzato con un’apertura in breccia delimitata da una cornice di spoglio che presenta al centro dell’architrave un monogramma bernardiniano