質問の主旨が捉えきれていませんが、
その場合は「もしかして私がいま座ってる席は、あなた又はあなたのお友達が座っていた席ですか？」と訊ねます。「そうです」といわれれば譲るし、「そうではない」といわれれば「私は体が大きくてあれなんで席を移動しますね」みたいな感じで移動します。