倉吉の町中にある大岳院は、安房里見氏ゆかりの寺として知られます。

諸説あるようですが、里見安房守忠義は大久保長安事件に連座して館山藩9万2千石から天領倉吉藩4千石に落とされ、打吹城下の神坂村で約3年、更に鳥取藩主となった池田光政によりわずかに百人扶持を宛てがわれて田中村で約2年、更に堀村（現在の関金町）に移住した後、安房への復帰を願いつつ29歳の若さで病死したと伝わっています。

里見氏代々の菩提寺も同じ曹洞宗で、最初に屋敷を構えた神坂村が大岳院の門前だったことから忠義はここに埋葬され、嗣子無しとして里見家は断絶となりました。そして忠義の病死から三ヶ月後に八名の忠臣が殉死、戒名に「賢」の文字が付けられたことから「八賢士」と呼ばれるようになり、この一件をヒントに書かれたのが曲亭馬琴の『南総里見八犬伝』と言われています。

境内には八体の犬の像が。

里見家墓所には、忠義と八賢士のほか、忠義の伯父に当たる重臣・正木大膳時茂の墓もあります。
「正木大膳」は里見氏麾下の勇将として名高いのですが、これを名乗った人物は4人いて、そのうち同名の「正木時茂」が2人いるからややこしいです。（『朝倉宗滴話記』で「国持侍の人使いの上手の手本」として今川義元、武田晴信、三好長慶、長尾景虎、毛利元就、織田信長という錚々たるメンバーに並べて挙げられたのは、この人ではなく1人目の正木時茂）
なお正木大膳は主家の断絶後は鳥取藩預かりとなり、子孫は池田家の岡山藩移封に伴ったそうです。