８月５日から二泊の上高地旅行

突然ですが、夏休みが取れたので埼玉から上高地に旅行に行きたいと思っています。
２歳と４歳の子供がいるのであまり長距離は歩けません、２歳の子は途中からおんぶになると思います。

主人は岐阜城が見たいと言っているので１泊目を岐阜近辺にして２泊目を上高地にしようか、逆にしようか悩んでいます。
ただ他の方の投稿を見ても朝の６～７時には沢渡Pに停めるくらいがいいと書いてあったので上高地は諦めた方がいいのかなとも思っています、まだ子供もあまり歩けませんし。。
私は山が好きなので出来たら山方面で一泊したいです。
岐阜城を見て無理なく山方面で宿泊するにはどの辺りがいいのでしょうか？

全く行った事がないのでかなり素人発言でお恥ずかしいのですが・・・いろいろとアドバイスいただけたらと思いますので宜しくお願いします。