>「いやだ」と言われたときに

それが相手に明確に伝わったかどうか、確認できたのでしょうか。
あるいは、第三者が後で見ても「明らかに伝えた」と判断されるような手続きがあったのでしょうか。

そういう手順を踏まなかったら、瑕疵を問われても仕方ないように思います。
ですから、そこが問題の中心ではないと思いますよ。