又、小祝神社の近隣には規模は大きくはありませんが、三島塚古墳を中心に複数の古墳が見られる為、古墳の被葬者一族が氏神として奉斎していた可能性もあります。
一方、当社の御神体が石である事から祝（イワイ）の語源が岩や磐、石と関係がある為、この石を奉斎する為に開創されたのかも知れません。
文献的初見は延喜元年（９０１）に編纂された日本三代実録で、元慶四年（８８０）五月二五日条に正五位下小祝（オハフリノ）神が正五位上の神階を授かったと記されています。
延長５年（９２７）に編纂された延喜式神名帳には式内社として名を連ね、上野国神名帳には「正一位小祝明神」として記載され、上野国十二社の第七社に格付けされています。
信仰も篤かったようで、霊亀元年（７１５）に上野国大掾である藤原忠明によって開創された息災寺（現在の妙見寺）の鎮守社として当社の分社と思われる神社が上野国神名帳に「従三位息災寺小祝明神」と記載されている他、群馬県高崎市冷水町字川窪に鎮座している神社も「従四位上小祝明神」と記されています。
戦国時代の天文年間（１５３２〜１５５５年）に兵火により大きな被害を受けた事で衰微し、江戸時代初期には石祠として僅かに奉斎されていたそうです。
元和５年（１６１９）に安藤重信が上野高崎藩５万６千石で入封すると小祝神社は再興が図られたと見られ、特に信仰が篤かったと由緒に記されています。
寛永年間（１６２４〜１６４３年）に松月道青が石昌寺が開創されると別当寺院となり、正徳２年（１７１２）には石昌寺四世亮珍と武藏五社の祝人である笠原豊前が再建が覚束無い当社を嘆き悲しみ、この惨状を当時の高崎藩主間部越前守詮房に訴えました。
詮房からは、高崎藩領の山から社殿の再建や境内を整備する上で欠かせない、木材や石材の寄進の約束を取り付け、享保５年（１７２０）には本殿が造営されています。
社殿が再建されている最中である享保元年（１７１６）には宗源宣旨で神階が最高位の正一位を授けられています。
神仏習合後は「小祝大明神」と称し、本地仏として薬師如来又は文殊菩薩を祀っていましたが、明治時代初頭に発令された神仏分離令により仏教色が一掃され、社号を小祝神社に改めています。
明治５年（１８７２）に郷社、明治４２年（１９０９）に神饌幣帛料供進神社に指定されています。
現在の本殿は享保５年（１７２０）に建てられた建物で、三間社入母屋造り、平入、銅板葺き、桁行３間、梁間３間、正面３間向拝付、外壁は真壁造り板張り、四方縁側、高欄、左右脇障子付き。
神仏習合の名残が見られ、内部は前面２間が外陣、奥１間が内陣で、内陣には厨子が安置され、開口部の一部は花頭窓が採用されています。
意匠的にも優れ、建物全体が極彩色で彩られ、細部には精緻な彫刻、壁面には高崎市最古の嵌め込み式の彫刻が見られます。
小祝神社本殿は貴重な事から享保元年（１７１６）棟札と享保２年（１７１７）奉納額、享保４年（１７１９）寄進銘と共に平成１４年（２００２）に高崎市指定重要文化財に指定されています。
祭神が医療に関わる神である少彦名命で、本地仏として薬師如来を奉斎していた事から、無病息災・病気平癒に御利益があるとして信仰されました。
石信仰には産育や出産と関係が深く、社号の「小祝」は「子祝」に通じる事から当社は安産に御利益があるとして、懐妊した女性は戌の日に当社で安産祈願を行って腹帯を借り、無事元気な赤ちゃんが生まれたら、当社にその報告と新しい腹帯を奉納する習わしがあります。
又、小祝神社は恋愛成就・復縁・縁結びにも御利益があるそうです。