八王子―高麗川―寄居―御花畑（三峰口？浦山口？）徒歩で西武秩父―東飯能―八王子
往路（8：01出発ー三峰口11：00着2,090円）　　　　　　　復路（約2時間870円）
こんな感じでいかがでしょ？

三峰口に秩鉄車両公園があるらしいのでそこまでいってもいいかなぁ。
ただ三峰口周辺はあんまり何もないっぽいのでバスで道の駅まで行って日帰り入浴でもするかねぇ。

浦山口駅の近くにある橋立鍾乳洞なる場所がちょっと気になるけど御花畑駅から歩いて散策してもいいかなぁ。
お昼はここなんかどうかね？
http://tabelog.com/saitama/A1107/A110701/11005823/

とまぁ適当に調べただけの行き当たりばったりプランですが
お天気は3日でも4日でもよさげ。