最初のは車運転しててイチャモン付けられたのに対して言い返した台詞。
で、その台詞からの連想で、
「そういえば愛想をつかしたあの男（＝坊や）にも、あの時同じ台詞を言ったっけ」
という回想シーンになるという構成。