人皇第二十七代安閑天皇の元年三月十五日、当地を治めていた上毛野君小熊王により社殿が造営され、蒼海明神として奉斎したとされます。
律令制下で上野国が立国し、当地に上野国府が設置され国司が赴任すると、当初は上野国十四郡に鎮座している五百四十九社を巡拝し弊帛を捧げる事で上野国内の安寧を祈願するのが常とされましたが、余りにも過酷だった事から、当社に五百四十九社の祭神の分霊を勧請し１社に纏めあげました。
これにより、当社を「総社大明神」に改め、「正一位護国霊験惣社大明神」の社号額を献納しています。
中世は国府を城郭化したと思われる蒼海城の城主で、上野国守護代を担った総社長尾氏の庇護を受けたと思われ、境内近くの貞和５年（１３４９）に建立された宝塔は長尾家の関係者が奉納したものと推定されています。
長享２年（１４８８）９月２８日には室町時代の禅僧、歌人として知られる万里集九が角淵（現在の玉村）から白井へ向かう途中に当地を訪れ、「隔一村馬上望拝上野之惣社」、｢数株老樹斧屠残｣等と日記に記しています。
当初は蒼海城内の宮ノ辺の地、現在の境外社である宮鍋神社の境内に鎮座していましたが、永禄９年（１５６６）に小田原北条氏と甲斐武田氏による合戦に巻き込まれた事で大きな被害を受けた為、元亀年間（１５７０〜１５７３年）に現在地に境内を遷し再興を図っています。
天正１０年（１５８２）に織田・徳川連合軍の武田領侵攻により武田家が滅亡すると、当地は小田原北条氏が支配し、天正１３年（１５８５）六月二日には伯耆守の奉書した北条氏康の掟書が発給されています。
天正１８年（１５９０）に発生した小田原の役で、豊臣方に与した浅野長政が４月１９日に北条方の厩橋城を攻め落とすと、５月には当社に対し前田筑前守利家と浅野弾正少弼長政の禁制が発給されています。
慶長６年（１６０１）に秋元長朝が１万石で当地に入封し総社藩を立藩すると、当社を篤く庇護し元和２年（１６１６）には本殿の大修築が行われています。
寛永１０年（１６３３）に跡を継いだ秋元泰朝が甲斐都留藩に移封となった為、外護者を失いましたが、その後は幕府から庇護され、慶安２年（１６４９）に３代将軍徳川家光から社領２６石分の朱印状を賜り、歴代徳川将軍家が追認しています。
古くから神仏習合し、本地仏として弥勒菩薩を奉斎し、神宝として天正１４年（１５８６）の弥勒座像の懸仏と、天正１７年（１５８９）の普賢菩薩の懸仏を所蔵し、別当寺院として徳蔵寺が祭祀を司っていましたが、明治時代初頭に発令された神仏分離令により、形式上は仏教色を一掃し、明治６年（１８７３）に県社に列しています。
上野國総鎮守総社神社本殿は慶長年間（１５９６〜１６１５年）に造営された建物で、三間社流造り、こけら葺、桁行３間、梁間２間、正面３間向拝付、左右脇障子付、壁面には縁起が良い松竹梅が描かれ、貴重な事から昭和３８年（１９６３）に群馬県指定重要文化財に指定されています。
拝殿は天保１４年（１８４３）に当社の氏子で宮大工である関谷出雲丞平貞許とその子供である関谷出雲丞平貞義が棟梁を担当した建物で、彫刻は熊谷出身の長谷川源四郎が担当、貴重な事から平成５年（１９９３）に前橋市指定文化財に指定されています。
上野国神明帳は弘治２年（１５５６）２月２日に当時の宮司である赤石平中善が書き写したもので、懸仏２面と、鎌倉時代初期に中国から禅宗と共に伝えられたと推定される雲板と共に群馬県指定重要文化財に指定されています｡
又、上野國総鎮守総社神社は特に金運・商売繁盛・開運に御利益があるとして、その御神徳を預かる為に参拝する人が多いそうです。