Il centro, di rara bellezza, dichiara nell'impianto urbano ed edilizio le sue origini. Nel quartiere Rabata, di origini islamiche, il tessuto urbano è caratterizzato da alcune vie principali di sezione ridotta su cui si innestano numerosi vicoli secondari ancora più ristretti che si intrecciano in diverse direzioni e si concludono in slarghi ciechi. Il tessuto residenziale è minuto, costituito da abitazioni povere composte da una o due stanze. Il centro storico, invece, che sorge più tardi alle pendici della torre normanna, presenta impianto urbano caratterizzato da strade parallele a diverse quote, collegate perpendicolarmente da strade minori. Si rafforza la presenza di porte (oltre alla porta Saracena e della Rabata, sorgono la porta Monte, la porta Fontana e la porta le Beccherie) e la presenza di architetture del potere religioso e feudale (Palazzo Ducale, torre Normanna e feritoie) con predominanza di quello ecclesiastico. Sono testimonianza architettonica religiosa di questo periodo i conventi di Sant'Antonio di Vienna, dei Cappuccini e del Carmine che si aggiungono ai preesistenti di San Francesco e di Santa Chiara. Vengono, ancora, costruite le chiese di S. Maria dell'Ulivo, la Madonna della Badia, di San Michele Arcangelo, dello Spirito Santo, di Santa Lucia e di numerose altre oggi inglobate nell'edilizia residenziale di cui si sono perse tracce e memoria. Fra il XVI ed il XVII secolo, poi, si aggiungono nel tessuto urbano i palazzi nobiliari tra i quali spiccano quello dei Putignani, Laureano, Grittoleo, Monaco, Ronchi, Lizzadri, Aragiusto, Ferri molti dei quali decorati da portali decorati in pietra locale