Via Garibaldi conduce davanti alla Basilica di S. Erasmo. Secondo la tradizione qui sorgeva il tempio dedicato al dio Apollo. S. Benedetto da Norcia, nel sostare a Veroli durante il suo trasferimento da Subiaco a Montecassino, vi costruì un oratorio e un monastero per monaci benedettini. Tale tradizione trova il suo fondamento negli Acta S. Placidi  riportati da J. Mabillon. Una sicura prova della presenza dei benedettini in S. Erasmo la offre il codice membranaceo del Martirologio, conservato nell'Archivio della chiesa e studiato già nel XVIII secolo, dallo storico verolano Vittorio Giovardi, il quale lo ritenne peculiare di questa chiesa. Nel documento San Benedetto viene definito "Padre e fondatore" dell'edificio sacro, secondo la consuetudine monastica. Sul primo oratorio sorse poi la chiesa, più volte rimaneggiata nei secoli, fino a che l'interno della chiesa stessa mutò completamente il suo aspetto originario. I benedettini  rimasero a Veroli fino agli inizi del XII secolo; poi furono sostituiti dai canonici regolari. La pianta della basilica risale al XII secolo. Le parti originali di questa epoca sono la base del campanile, il portico antistante la chiesa e le absidi, coronate da archetti ciechi e da colonnine su mensole. Diversi sono gli elementi in bassorilievo presenti sulla facciata, che la rendono carica di mistero e di splendore. 

Alcuni di essi  sono simboli cosmologici e microcosmici, espressi tramite la raffigurazione di cerchi concentrici intrecciati tra loro con una linea che va a formare quattro ovali, il tutto con il significato di stretto rapporto tra Dio e il mondo, tra il Divino e l'umano. Tra i bassorilievi spicca per la qualità di fattura l'Agnello Pasquale, animale mite, innocente e puro, simbolo di Cristo e del suo sacrificio supremo. La parte superiore del vestibolo era destinata ad oratorio per i monaci. Sul fianco nord-est è ancora visibile una bifora rettangolare, provvista di piastrino centrale che testimonierebbe questo primitivo stato. L'ambiente subì delle modifiche quando, nel 1575, i canonici di S. Erasmo chiamarono l'architetto Martino Veneziano affinché provvedesse ai lavori di restauro della chiesa. Questi lasciò ai posteri il ricordo suo nome scolpendo nella facciata la seguente frase: "EST MANIBUS FACTUS MARINI QUEM PROBAT ARCUS". Queste indicazioni rimandano ad un'altra iscrizione (OP)US MARTINI, che si trova incisa su due pietre nella parte interna dell'arco centrale. Probabile è anche l'ipotesi che Martino facesse riferimento all'arco laterale dove è incisa la parola THESTIMONIA. L'altare maggiore della basilica è in stile barocco, costruito con marmi pregiati, fu consacrato nel 1753 mentre gli affreschi presenti sull'abside centrale, sono del XIX secolo. Al centro domina la figura del Cristo che abbraccia la croce, con ai suoi lati le figure di

S. Erasmo e S. Benedetto. Il coro settecentesco in legno di noce è opera di maestranze locali.

Alla parete sinistra del presbiterio è collocata un'enorme tela che mons. Vittorio Giovardi fece dipingere nel 1767 per rievocare l'importante avvenimento che vide nel 1170, qui, a S. Erasmo l'incontro tra papa Alessandro III, i rappresentanti della Lega Lombarda ed Everardo, vescovo di Bamberga, inviato dell'imperatore Federico Barbarossa ai fini di negoziare una possibile pace.

Di proporzioni ben più modeste è l'anonima tela raffigurante il "Battesimo di Gesù". E' molto elegante, anche se i gesti delle figure risultano un po' convenzionali e articolati secondo uno schema compositivo assai vicino al "Battesimo di Gesù" del Maratta, nella Certosa di S. Martino a Napoli. La basilica di S. Erasmo possiede un Tesoro Sacro costituito da oggetti preziosissimi e di alto livello artistico, come il calice ministeriale e la patena della fine del XIV secolo, in argento dorato e l'encolpio bronzeo del sec. XII .

Il calice è stato protagonista del miracolo eucaristico avvenuto il 26 marzo 1570: l'Ostia contenuta nello scatolino collocato dentro il calice, per essere adorata dai fedeli,  durante le quaranta ore di adorazione, nella cappella dedicata a san Gregorio, dopo i Vespri di Pasqua operò numerosi prodigi. Dopo ben dieci giorni di continua adorazione pubblica si pose fine all'esposizione del Sacramento. A questo punto la Sacra Ostia non fu consumata ma lasciata dentro la teca che, una volta chiusa accuratamente con filo di ottone e sigillata, venne riposta dentro il tabernacolo. Le notizie di questi avvenimenti si trovano negli atti del processo canonico, fatto celebrare dal vescovo Ortensio Battisti. Tali atti raccolgono le testimonianze sia dei fedeli presenti agli avvenimenti straordinari verificatisi nei giorni immediatamente successivi alla celebrazione della Pasqua, sia di persone che prodigiosamente guarirono da infermità croniche. Per custodire il calice, venne realizzata dallo scultore Francesco Nagni un monumento bronzeo composto da una schiera di angeli.

Di notevole pregio è l'encolpio. La croce-reliquiario che anticamente si portava appesa al collo, presenta da un lato il Crocifisso circondato dalla Vergine e dai Santi Nicola e Giovanni; dall'altro la Madonna col Bambino tra i Santi Demetrio, Giorgio e Procopio, tutti identificati dai nomi abbreviati, disordinatamente e confusamente disposti accanto alle rispettive figure. Il forte contrasto tra le masse morbide e tondeggianti delle immagini e l'istintivo, brusco incidere del bulino che definisce sommariamente ma efficacemente particolari anatomici e motivi decorativi rimane forse la caratteristica essenziale di questo encolpio. Consistente è il patrimonio archivistico di questa basilica che possiede pergamene del IX secolo d. C., in parte studiate e pubblicate dal Mottironi: Di notevole interesse è il martirologio del XIII secolo.