意味合いが違っても、
見ている人が負担に感じるなら、
「困る」といっても間違いじゃないと思うよ。