Il colle dei Cappuccini, che sovrasta la città di Cagli dal versante meridionale, ha visto nei secoli un avvicendarsi di edifici con funzioni diverse. Secondo alcuni studiosi, originariamente sul colle esisteva un tempio pagano in onore di Marte Cale (da cui si pensa che derivi il nome della città di Cagli). Quello che risulta invece certo è che sulla sommità del colle fu costruita, forse già alla fine del VII secolo, l'Abbazia benedettina di S. Geronzio, vescovo di Cervia e patrono di Cagli. Il complesso abbaziale doveva essere imponente e fortificato, come risulta da un documento dell’Archivio Apostolico Vaticano: Monte Castri Sancti Geronzii, riportato dallo storico Buroni. Pressochè inesistenti sono oggi le tracce conservate del vecchio Cenobio, fanno eccezione soltanto la colonna di granito di età romana, poi riutilizzata, e il capitello di calcare locale a forma di pigna, conservati nel cortille del successivo convento dei Cappuccini. Potrebbe, tuttavia, essere collegata all'antica Abbazia la scoperta di un possente muro in bolocchi lapidei ben lavorati e legati da malta cementizia, scoperto nel 2013, in occasione di un intervento di restauro, sul lato orientale del colle a circa due metri di porofondità dal p.d.c. La tecnica edilizia, di ottima fattura, suggerisce la pertinenza con una struttura di pregio, come doveva essere originariamente quella dell'antica Abbazia benedettina, poi completamente abbattuta nel 1450 per fare posto ad alla Rocca che Federico II da Montefeltro commissionò all’architetto senese Francesco di Giorgio Martini. I lavori, iniziati nel 1480 circa, comprendevano la Rocca in alto e il Torrione in basso, uniti da un camminamento segreto (“soccorso coverto”). Di questa imponente fortificazione di Francesco di Giorgio Martini rimangono ancora visibili parte delle mura, il puntone e l'ingresso del passaggio coverto che collegava la Rocca con il Torrione sottostante. La Rocca fu parzialmente smantellata già all'inizio del XVI secolo e nel 1565 si dispose la costruzione di un convento dei Padri Cappuccini. Non essendo sufficiente lo spazio che doveva attorniare il Convento, furono acquistati i terreni limitrofi a sud del colle. Le nuove strutture del convento sfruttarono in parte gli edifici della Rocca e in parte ne riutilizzarono il materiale da costruzione per quelli nuovi. Il convento, con la sua semplicità architettonica, occupa ancora oggi gran parte del podio della collina