なにかがうまくいかなくなる、というのを連想しますです。東京の多摩地区に伝わる都市伝説の、カップルで井の頭に行くと井の頭の弁天様を機嫌を損ねる→巧くいかない、のイメージがでかいのですが。
計画を立ててもなんらかの力が働いてそうは問屋が卸さない的な、理不尽な嫌がらせのようなものがくることを連想します。