今は銀座にユニクロがある時代なので、小奇麗でさえあれば大丈夫だと思います。
高級なお店で食事をするなら話は別かもしれませんが。