伝承によると細川興秋は細川忠興の次男として生まれ、慶長９年（１６０４）に兄である長岡忠隆が廃嫡になると次期当主を期待されましたが、慶長１０年（１６０５）に三男の細川忠利が嫡子に定められた事でそれに反発し細川家から出奔しました。
興秋と細川家との対立は続き、慶長１９年（１６１４）の大坂の陣では豊臣方に参陣し活躍したものの敗北した為、天草まで落ち延び隠遁生活を余儀なくされたそうです。
ある時、祖父である細川藤孝（幽斎）の室町幕府十三代将軍足利義輝の供養の為に地蔵尊を建立するようにとの遺言を実効する為、諸国を歴訪し造石村に辿り着くと霊地と悟り、天草から子供の忠太夫と家臣を呼び寄せ元和９年（１６２３）には立派な地蔵尊像を造立したそうです。
開眼法要には足利家関係者やその家臣等１４８名が参加し盛大追善供養が行われたそうです。しかし、しばらく経つと興秋は子供の忠太夫を残し忽然と姿を消し、この忠太夫が「長岡」姓を掲げ長岡家の祖になったと伝えられています。
実際、高崎市吉井町小棚に境内を構えている雲光山弥勒寺に建立されている地蔵菩薩の中には「細川」「忠興」「興秋」「義輝」の銘が刻まれているものもあり、伝承を裏付けています。
ただし、通説では大坂の陣で豊臣方の敗北が濃厚になると興秋は戦場を離脱し伏見の稲荷山東林院に匿われたものの、細川忠興に知られる事になると助命が許されず切腹した事になっています。
実際は興秋の御落胤や庶子が大坂の陣直前まで豊臣方だった小幡藩主織田家に密かに匿われ、成人になった際に細川家と所縁が深い「長岡」姓を掲げ、地蔵尊を奉納したのかも知れません。
長岡家の四脚門は織田家が小幡領に入部し、小幡陣屋を構えるまでの福島村時代に米や塩等の支援をしていた事の御礼として建てられたと伝わる建物で「織田の御馳走門」との別称があります。
薬医門は江戸時代初期頃に建てられた建物で、切妻、茅葺、一間一戸、南側には石塁がある事から、長岡家の屋敷の周囲は土塁や石塁で囲われ居館の城門のような形式だった事が推察されます。
長岡家の薬医門及び四脚門は貴重な事から昭和５７年（１９８２）に甘楽町指定重要文化財に指定されています。
その後の長岡家は造石村の名主を歴任、延宝４年（１６７６）に造石村が旗本である筒井氏の領地になると、筒井氏との公的な関係や役割が増えた事から数多くの地方文書を所有し、五人組帳２４冊、宗門改人別帳２６冊、皆済目録４３冊、室町末期に制作された諸器物等が貴重な事から昭和４８年（１９７３）に甘楽町指定重要文化財に指定されています。