山田重忠は山田重満の次男として生れ、木曽義仲が京都に入った際に上洛し京中守護を担う等の功績を揚げ、鎌倉幕府が成立すると御家人となり尾張国山田荘（現在の愛知県名古屋市北西部、瀬戸市、長久手市一帯）の地頭にも就任しています。
重忠は清和源氏満政流山田氏である事から領内に源氏の氏神である八幡神を勧請したと思われます。
承久３年（１２２１）に承久の乱が発生すると重忠は鳥羽上皇方に与し、幕府の大軍に対し奮戦するものの嵯峨般若寺山で自害に追い込まれています。
しかし、八幡神社の整備は引き続き継続されたようで、貞応２年（１２２３）に社殿が竣工、この時に山口神社が合祀されています。
山口神社が何時頃開創されたのかは判りませんが、延喜式神名帳に記載されている式内社山田郡小口神社（当社説では小は山の誤りとされます）、本国神名帳に従三位に列格している山口天神の論社です。
一方、境内には６世紀末期頃に築造されたと推定される山口八幡社古墳群がある事から古墳の被葬者の氏神が奉斎されたのが当社の起源の可能性があります。
当時は境内の傍らには沼池があったようで、当社を開創した山田重忠の後裔と思われる山田五左衛門が芦毛の馬に乗ってその畔に差し掛かった際、誤って沼池に落ちて溺死した事から、山口村では芦毛の馬を飼う事が禁忌になったと伝えられています。
山田郡は室町時代には春日井郡と愛智郡に分かれ、鎮座地である山口村は愛智郡に組み込まれ、隣接する三河国との国境に近い事から国境鎮護、結界神の社として篤く崇敬されました。
山口村の氏神であると同時に周辺の総社的な存在だったようで、毎年９月１６日の例大祭には近郷２４ヶ村の村人全てが飾馬を率いて当社に参詣したそうです。
明治時代初頭に発令された神仏分離令を経て、明治５年に郷社に列格しています。