全てはtaisinさんのご都合に合わせればいいと思います。
日曜の夜にお帰りになられるのであれば、土曜の夜にオフ会を行ってもいいですし。
ハイカーオフ会は土曜の夜の方が日曜よりも集まりやすいかもしれませんね。