その後、第１９代天皇である允恭天皇の御代から第３１代天皇である用明天皇の御代頃に社殿が造営され、本格的な神社として境内が整えられたとされます。
当初は現在の地蔵岳の中腹付近に鎮座していましたが、大同元年（８０６）に大沼の南側の湖畔に遷座し、小沼の湖畔には小沼宮が開創されています。
大洞赤城神社の祭神と思われる赤城神は格式が高く、続日本後紀によると承和６年（８３９）６月に従五位下、日本三代実録によると貞観９年（８６７）６月２０日に正五位下、貞観１１年（８６９）１２月２５日に正五位上、貞観１６年（８７４）３月１４日に従四位下、元慶４年（８８０）５月２５日に従四位上に列格し、延喜式神名帳には名神大社として記載され、上野国二之宮に格付けられています。
ただし、当赤城神は赤城山中腹に鎮座している三夜沢赤城神社と、麓に鎮座している二宮赤城神社がそれぞれ主張しており、定まっていません。
現在の鎮座地である小鳥が島に建立されていた多宝塔の下からは平安時代後期から室町時代に制作された和鏡１０面と経筒残片５片が出土した事から、少なくとも平安時代後期には当地で祭祀が行われていた可能性があります。
小鳥が島出土鏡（附 宝塔及び経筒残欠）は貴重な事から昭和５２年９月２０日に群馬県指定文化財に指定されています。
神仏習合すると、修験僧の修行の地として発展し、上野国志によると「地蔵嶽 大沼の南に在り。 山上に小堂有り、銅像の地蔵を安置す。 長二尺余、銅釜を以て座と為す。沼尻薬師 小沼虚空蔵 地蔵嶽地蔵堂 牛王堂 並に寿延寺の香火を掌る所なり。」と記されています。
南北朝時代に記された神道集によると、赤城大明神に関係する３つの伝説が紹介されており、当地にある大沼や小沼が信仰の対象になっていた事が窺えます。
当地は参拝に不便だった事もあり、朝廷の権威が失墜すると当地の支配者が祭祀の便宜が良い、麓の二宮赤城神社が赤城山信仰の中心的な役割を担ったようですが、戦国時代の天正４年（１５７６）に小田原北条氏に従った南方氏の焼き討ちにより大きな被害を受け衰微しています。
慶長５年（１６００）に発生した関ヶ原合戦で東軍に与し功績を挙げた酒井重忠が慶長６年（１６０１）に上野厩橋に３万３千石の所領を与えられ厩橋藩を立藩すると、藩庁、藩主居館とした厩橋城から見ると、当社の境内地が丑寅の方角に当たる為、鬼門鎮護として篤く帰依しました。
重忠は早速、赤城山に登拝し領内安寧の祈願を行い、「正一位赤城大明神・赤城神社」の社殿の改築を幕府に申請し、翌年には竣工しています。
祭祀に当たっては寿延寺を別当寺院に命じ、跡を継いだ酒井忠世は、東照大権現の御霊を勧請し、相殿として奉斎しています。
寛永１８年（１６４１）に落雷で社殿が焼失すると、３代将軍徳川家光の命により酒井忠清が社殿の再建を行っています。
東照大権現を奉斎した事で、徳川将軍家や大名家からも崇敬された為、信仰がさらに広がり、毎年卯月八日に開催された「山開き祭」では関東一円から参拝者が集まり、大いに賑わったとされます。
江戸時代後期になると、中腹に鎮座していた三夜沢赤城神社と本社争いが激化し、享和２年（１８０２）には幕府の社寺奉行にも訴えられ、文化１３年（１８１６）に和議が成立しています。
明治時代初頭に発令された神仏分離令により仏教色が一掃され､郷社に列格、明治２０年（１８８７）から明治４３年（１９１０）の間に近隣８ヵ村２２社、末社９８柱が合祀されています。
昭和４５年（１９７０）に社殿の老朽化により大洞から現在地である小鳥が島に遷座しています。
履中天皇の御代に当地に流された高野辺大将家成の娘である赤城姫が、あまりの美しさから継母に殺されそうになり、大沼から出現した龍神から助けられた事から、赤城姫が龍神の跡を継いで赤城大明神になったと伝えられています。
上記の伝承から、特に女性の願い事は必ず叶えてくれると信仰され、縁結びや恋愛成就、子授り、安産、子育てに御利益があるとされます。