Köln városát a rómaiak alapították az első században Krisztus után. A IV. században az északi városfalnál emeltek egy ovális alaprajzú épületet. Ennek akkori pontos funkcióját ma nem ismerjük. Régészeti leírásokból, valamint utazók évszázadokkal későbbi, a VI. századból való leírásaiból ismerhetjük az épületet.

Az épület egy csodásan megszerkesztett ovális, így se nem bazilika, se nem centrális, kör alakú épület. Az átmérői kb. 24 és 20 méteresek. A fenti képen látható, ma a templomban kiállított modern kori rekonstrukció a felépítményt tekintve nem biztos, hogy precíz, de az épület fő szerkezete a kései ókorban biztosan ilyen volt. A nyugati oldalon rendelkezett egy előcsarnokkal, és egy előudvarral. 

A keleti végére egy félköríves, az oválisból kilógó apszist építettek. 

Az építés ideje legkorábban 345 lehet, valószínűbb az ennél valamivel későbbi, talán 360 körüli időpont. Eredeti funkcióját nem ismerjük, de azt igen, hogy a belső falak gazdagon voltak díszítve, így bizonyára valamilyen magas méltóság, esetleg maga a császár, emeltethette. 

Az épületet az V. vagy VI. században keresztények vehették birtokba, és templomként használták. Ezzel, a trieri székesegyházzal versengve, Németország legrégebbi templomainak egyike (az evangélikus templom, szintén Trierben, régebben épült, de csak a XIX. század óta használják templomként). 

A thébai légió (róluk bővebben lásd a bonni apátságnál) vértanúit, közülük is kiemelten egy Gereon nevű katonát tiszteltek itt. Egy, a VI. század végéről származó leírás "arany szentek"-et emleget a templom kapcsán, a frank királyok ebben az időben (ne feledjük, még Nagy Károly előtt járunk!) kiemelt templomként kezelték a Szent Gereont, ami visszaköszönt a belső díszítésben is. 

Az ókori ovális, ide értve a belső berendezést és díszítést is, az érett középkorig, a XIII. századig megmaradt. Az alsó szintje pedig mindmáig áll.

Az eredeti, félköríves apszist az első évezred végefelé lebontották, és a helyére egy nagyobb, szögletes szentélyt építettek. II. Anno érsek az 1060-as években ehelyett egy új, nagyobb szentélyt építtetett. Az új épületrész kétszintes lett: az altemplom az antik épület szintje alatt, a szentély a felett helyezkedik el, lépcsőkön lehet oda felmenni. 

Az új szentély (eredetileg a tornyok nélkül) egyértelműen román jellegzetességeket mutat. Eleve az ilyen kialakítás, altemplommal, a román építészet sajátossága. A  ma látható félköríves apszis a kései román kori építészetbe illik, pl. a Szent Kunibertnél (szintén Köln északi részén, a Rajna mellett) láthatunk hasonlót. Az apszis és a tornyok a szentély többi részénél száz évvel később, a XII. század közepén épültek.

A szentély hosszabb, mint az eredeti ovális, alapterülete összevethető azzal, a XI. századi építkezés tehát alapvetően változtatta meg az épület méreteit és szerkezetét. Különösen igaz ez, ha figyelembe vesszük, hogy akkor a szentély magasabb is volt, mint az antik épületrész. 

Az 1220-as években az ókori oválist körbeépítették, úgy, hogy abból ma kívülről semmi nem látszik. Az új külső jóval magasabb, mint a régi épület volt, részben azt körbeveszi, részben a fölé magasodik. Ezen a korai gótika stílusjegyeit ismerhetjük fel, külső támívekkel, visszafogottan csúcsíves szerkezetekkel. Az ablakfelületek ugyanakkor keskenyek, a középső szint ablakai az érett román stílust mutatják, csakúgy, mint a legfelső szinten a galéria. Építészettörténészek hosszas vitákat szoktak folytatni, hogy ezt a részt a romanika vagy a korai gótika alkotásai közé sorolják be. 

Coldrerio, CC BY-SA 3.0 DE, via Wikimedia Commons

A légifelvételen jól megfigyelhető mindaz, amit az imént írtam, és ami a talajszintről csak korlátozottan látható. Bár auluról is látszik, ebből a perspektívából még látványosabb, hogy ez az épületrész nem ovális, hanem tízszögletű alaprajzú. A kupola a maga idején a legnagyobb volt Európában Itálián kívül. 

34 méteres magasságával így ez a rész jó kétszer olyan magas lett, mint az eredeti, római épület. Ezt a magasságot ezzel az átmérővel nem tudták volna elérni a francia statikai ismeretek (más néven: a gótikus építészet) nélkül. Az építészek így egyszerre próbálták megőrizni a római kori épületet, miközben alapvetően a román stílus határozta meg a gondolkodásukat, kombinálva az új, a gótikus stílust meghatározó ismeretekkel. Ezzel egy egyedülálló, és igazából semmi máshoz nem hasonlítható alkotást hoztak létre. 

Az ókori rész azonban, a tető kivételével, megmaradt, máig. Belülről ma is túlnyomórészt a IV századi épületet látjuk, a kései ókorban érezhetjük magunkat. 

Kivéve, ha felfelé nézünk, hiszen a kupola részben a XIII. századot, részben a XX.-at, a második világbáhorú utáni újjáépítést tükrözi. 

Elkészültekor az akkor második virágzását élő Köln legmodernebb és egyben leglenyűgözőbb épülete lett. Húsz évvel később, 1248-ban, egy kőhajításnyira innét, megkezdődött egy másik, sokkal nagyobb, és a városképet máig meghatározó építkezés. 

Mai látkép a Szent Gereon előtt állva

Ha már a háború említésre került: a kupola komolyabb sérüléseket szenvedett, ezért azt az épületrészt a háború után életveszélyesnek nyilvánították és lezárták. A szentélyt itt lefalazták, és önállóan használták. Végülis a szentély önmagában is nagyobb, mint sok helyen az egész templom. A helyreállítással csak az 1980-as évekre végeztek, azóta használható újra a teljes épület. Ma is katolikus plébániatemplom.