Sul luogo di una domus romana, inserita in un quartiere residenziale, sorse una basilica ad aula unica absidata (53 x 17 m), riferita dalle fonti più antiche alla figura di San Castriziano, vescovo di Milano nel III secolo. La denominazione della chiesa ad concham è presente già nel testamento di Ansperto (879 d.C.) e allude probabilmente alla leggera depressione del terreno in quella zona. Della struttura originale della chiesa rimane oggi il rudere della conca absidale, con la sottostante cripta. La prima, fortemente rimaneggiata, è in laterizio a vista con coronamento a piccoli fornici secondo il tipico modello milanese riscontrabile anche nelle basiliche milanesi di S. Ambrogio e S. Eustorgio. La cripta, suddivisa da dieci colonne in sette navatelle coperte a crociera, era in origine decorata con affreschi di carattere per lo più votivo, di cui sopravvivono alcuni frammenti, risalenti a diverse campagne decorative (prima metà del XII secolo e seconda meta del XIV secolo). La facciata duecentesca, smontata alla fine dell'Ottocento, è stata utilizzata per realizzare il prospetto della chiesa valdese di via Francesco Sforza: in pietra e laterizio con ampio rosone centrale, monofore laterali "a vento" e portale con pseudoprotiro, appare stilisticamente aggiornata sul modello delle chiese abbaziali. Durante gli scavi del 1880-81, fu rinvenuto, sotto la navata centrale, un mosaico policromo figurato, relativo, come la cisterna tuttora conservata nella cripta, ad una domus romana di III sec. d.C. La cisterna, con ai lati due condotti di scarico e larga 6,70 m, individuata durante i lavori di demolizione del 1949, è stata inizialmente interpretata da Calderini come parte di un impianto termale, mentre recentemente è stata identificata come serbatoio d'acqua relativo alla domus di cui faceva parte il mosaico. Sempre nel 1880-81 venne trovato, ancora sotto la navata centrale, un lacerto pavimentale in opus sectile, a triangoli in marmo bianco e esagoni in basalto, databile tra il IV e il VI sec. d.C., unica testimonianza della pavimentazione della basilica paleocristiana. Nel 1949 Calderini individuò anche una tomba a cassa affrescata, addossata al lato esterno di una parasta del muro perimetrale meridionale. L'affresco è uno dei pochissimi documenti di pittura paleocristiana conservati a Milano. Presenta figure simboliche che alludono alla morte e alla resurrezione dell'anima: sulla parete lunga al centro vi è una croce latina con ai lati due cervi affrontati fra ciuffi di fiori; il lato breve è decorato con una palma fra due pernici. Gli altri due lati mancano. In area imprecisata sono state rinvenute altre tombe in muratura con intonaci dipinti. Nella cripta è conservato anche un frammento di cornice in marmo con mensole e cassettoni di un edificio non identificato, databile seconda metà del I-II sec. d.C. La modanatura, appartenente a un architrave a fasce in stile corinzieggiante con rosette e foglie d'acanto, dentelli e astragali, mostra nell'equilibrata struttura compositiva e nel chiaroscuro l'alto impegno decorativo degli edifici della Milano romana. Durante la demolizione del campanile nel 1885 fu recuperata un’epigrafe funeraria in marmo appartenente al nobile longobardo Aldo, cognato della regina Teodolinda. In origine l’epigrafe, databile al VII sec. d.C., era forse decorata con intarsi in pietra e pasta vitrea colorata