Google Adsenceの精度が良くないのが原因なんでしょうね。

ウェブサイトに表示される広告の決定方法（https://www.google.com/adsense/support/bin/answer.py?hl=ja&answer=9713）に広告の配信方法が書いてありますが、この中にある「コンテンツターゲット」がうまく機能していないんじゃないかと思います。