大岳院は『伯耆民談記』が伝える伯耆山名氏の末裔・山名小三郎氏豊の居館跡ともされています。
山名氏豊は反守護方の澄之に敗れた守護方の政之・尚之兄弟の流れで、南条氏と同様に国外を流浪した末に永禄年間に毛利氏の支援で帰国を果たしますが、その頃はすでに南条氏と立場が逆転していたようで、南条氏が織田方に付いた後、毛利方吉川軍との間で激戦となった天正8年の長和田・長瀬川の合戦で氏豊は先陣を務めるも敗北、鹿野へと逃れる途中で討ち取られたと伝わっています。

駒姫八幡には、山名氏豊とその娘の駒姫が祀られていますが、その娘「お林」は光格天皇の生母となった大江磐代君の母との伝承があります。

尼子再興軍の支援を受けて因幡山名氏を継ぎ、最後に山名氏嫡流として残り但馬村岡藩の祖となった山名豊国（禅高）は死後、二百回忌に当たり仁孝天皇の勅諚にて「豊国禅高七味権現」の神号を賜りました。それも、この山名氏豊から繋がる天皇家との縁あってこそというわけです。

小さいながらも色々と伝承のある大岳院は、池田氏の位封前に米子藩主を務めた中村一忠の一族、打吹城主の中村栄忠が父一栄の菩提寺として開いたものです。山名時氏を祀る山名寺を再興したのも栄忠だそうですが、中村氏は2代で断絶してしまいました。