ずーっとこちらの目を見つめ続けながら話す人は実際たまーに居ますが、
あれはあれで落ち着かない気分になったりしますねえ。
…なので、「時折」ぐらいでいいんじゃないかと思うのですが。

そのあたりの基準ってのも実は人によって違うので、
あまり深く気にしなくてもいいんではないかと思いますよ。