L’abitato, che con i resti delle fortificazioni medievali ricorda la funzione difensiva dell’insediamento, è circondato da rocce dalla conformazione particolare e ha un andamento plano-altimetrico tipico montano. Pietrapertosa si snoda fino ai piedi del castello saraceno scavato nella roccia. Qui nella parte più alta del paese si trova il quartiere più antico denominato l'Arabata. Piccole case contadine, incastrate l’una nell’altra e quasi poggiate alla roccia scoscesa, un labirinto di stradine e scalette tutte in salita, costituiscono il quartiere rimasto invariato nel tempo. A nord-ovest si trova la chiesa Madre di San Giacomo Maggiore, di fondazione quattrocentesca su una fabbrica preesistente, mantiene il suo originario impianto romanico