・外壁は真壁造り板張り、正面には大草鞋が掲げられています。
寛治年間に後三年合戦の平定を命じられた源義家が当地まで進軍した際、八幡神が源氏の氏神だった事から当社で戦勝祈願を行ったところ見事念願成就し、首謀者である清原武衡を討ち取る事が出来ました。
義家は神意に感謝し、凱旋で当地に戻って来ると、兵士達に命じて丘を築き頂部には立派な社殿が造営したとされます。
その際には周辺の農民約１万人が動員され、手渡しで一箕ずつ土を運ばせた事から「一箕山」と呼ばれるようになったと伝えられています（実際は前方後円墳の頂部に社殿が建てられています）。
歴代領主からも崇敬庇護され、至徳年間（１３８４〜１３８７年）には芦名直盛が再興し社領三百町を寄進し、天正１８年（１５９０）には会津領に入部した蒲生氏郷が引き続き社領三百町を安堵、跡を継いだ蒲生秀行も追認しています。
慶長３年（１５９８）に会津領１２０石で入封した上杉景勝の家臣直江山城守兼続が当社で関東（徳川家康）調伏の祈願を行いますが、不調だった事から逆鱗に触れ焼き討ちにした事から古文書や神宝も悉く焼失しています。
その後、再興され寛永年間（１６２４〜１６４４年）に会津藩主加藤嘉明が社殿の修復を行っています。宝暦８年（１７５８）に奥殿が再建され、万延元年（１８６０）には当時の藩主松平容保が拝殿を再建、その他の社殿の修復を行いましたが、戊辰戦争（会津戦争）の兵火により焼失しています。
戊辰戦争の際は会津藩の国産奉行で和平推進派の河原善左衛門が一族郎党を率いて滝沢村八幡山で新政府軍を迎え撃ちますが、奮戦空しく戦線が瓦解し当社の境内で長男の勝太郎や弟の岩次郎等と共に壮絶な最期を遂げています。
古くから神仏集合し境内には会津三十三観音霊場第１８番札所の滝沢観音が奉斎されていましたが、明治時代初頭に発令された神仏分離令により仏教色が一掃される事となり、滝沢観音は白糸の滝の傍らに遷され、郷社に列格しています（旧観音堂は現在も残されています）。