その後、衰微しましたが応永１０年（１４０３）に良慶大和尚が中興開山しています。
歴代領主からも帰依を受け天文２年（１５３３）には祖母井信濃守胤が国家安穩の安寧の為に堂宇の再建を行っています。
祖母井氏は桓武平氏の一族の後裔とされる大須賀党の一派とされ、古くから宇都宮家に従い東真壁郡祖母井郷を本貫地とした事から「祖母井」姓を掲げたとされます。
祖母井信濃守吉胤は天文年間（１５３２〜１５５５年）に祖母井城を築城し、城から見ると高宗寺の境内は北東方向に当たる為、国家安寧というよりは城の鬼門鎮護の為に再建に尽力したと推察されます。
山門は明和９年（１７７２）頃に建てられた建物で、入母屋、銅瓦棒葺き、三間一戸、八脚楼門、桁行３間、梁間２間、上層部には高欄が廻り、下層部には金剛力士像安置、棟梁は尼子村大工中村某と小松某、貴重な事から芳賀町指定文化財に指定されています。
高宗寺の山門は大旦那である横堀家に伝わる古文書によると延宝元年癸卯（１６７３）に横堀源右エ門常俊が施主となり維親によって建てられた事が記されているものの現在の山門の墨書とは異なる事から、実際は真岡市八条の境内を構えている成正寺（現在の政成寺）の山門として明和９年（１７７２）に建てられ、明治時代初頭に発令された神仏分離令とその後吹き荒れた廃仏毀釈で成正寺が廃寺に追い込まれた際に当寺に移築されたと推察されます。
観音堂（千手堂）は、延享３年（１７４６）に法師尊海の代に横堀右エ門が施主となり田野辺村出身の長野万右衛門が棟梁として建てられた建物で、木造平屋建て、入母屋、銅板葺き、平入、桁行３間、梁間３間、正面１間向拝付、向拝には龍や獅子、象を模した精緻な彫刻が施されています。
芳賀秩父三十四観音霊場：第３番札所（うばがゐの みづのゆかりを たづねきて なむこうそうの てらをみるかな）