一方、伝承によると吉備津彦が死去した際、遺骸を入れた棺から鵜が出現し、その鵜が西方に飛び立って降り立った事から、聖地と悟り鵜の里と名付けると吉備津彦命の荒魂を鎮める為に当社を開創したと伝えられています。
別説によると垂仁天皇の御代に吉備津彦命が温羅（伝承上の鬼・人物で、古代吉備地方の統治者であったとされる。）を討伐した際、温羅は不利を悟り戦線を離脱し落ち延びようとしたものの樂々森彦命が見事捕縛しました。樂々森彦命が温羅を捕縛する姿が鵜に似ていた事から鵜江神として奉斎されるようになった伝えられています。
又、矢掛町東川面字川田に鎮座している木野山神社の境内には祭祀で利用されたと思われる土器（有脚小杯）が出土している事から古代祭祀跡とも考えられ、時代背景から察すると当社の信仰の源流だった可能性があります。
当初は矢掛町東川面に鎮座している大元鵜江神社の境内に鎮座していたようですが、その後、現在地に遷座したとされます。
鵜江神社は格式が高く文徳実録では従五位下に列格したと事が記されており、延喜式神名帳には式内社として記載されています。
中世は西川面城の城主渡邊家が祭祀を司り、永禄７年（１５６４）には渡邊河内守藤原資家が本殿を再建しています。
現在の本殿はその当時の建物で一間社流造、間口１間、梁間２間、背面２間、正面１間向拝付、四周縁側高欄付、本殿全体が弁柄色に彩られています。
渡辺家が没落すると外護者を失い衰微しましたが、江戸時代は小田郡川面村を中心に近隣七カ村の産土神として篤く奉斎されています。
古くから神仏習合し本地仏として薬師如来像が奉斎され「卯之宮大明神」や「宇野宮大明神」と称していましたが、明治時代初頭に発令された神仏分離令により仏教色が一掃され、明治５年に郷社に列格、明治４０年１月神饌幣帛料供進神社に指定されています。