相手との間柄にもよるのだが、
私的な知り合いとかだったらいっその事
｢俺さー、人の目見て話すの苦手なんだよね…｣
とかぶっちゃけてしまうのもひとつの手かと。

あと、基本的に視線外して話していても、
肝心なことを相手or自分が言った時は、
一瞬だけでもいいので相手の目を見るようにすると、
｢コイツ自分の話を聞いてないんじゃねーか感｣が緩和される気がします。