外遊びについて困っています。

2歳9ヶ月の息子ともうすぐ2ヶ月の娘がいる母親です。

1年2ヶ月前に、今住んでいるアパートの1階に引っ越してきました。
うちの上には、旦那さん・奥さん（専業主婦）・2歳の男の子の家族と、そのお隣に奥さん（有職者）・4歳～5歳位の女の子の家族が住んでいます。

有職者の奥さんの帰宅は、だいたい午後5時から午後6時の間です。
ここ1ヶ月前からだと思うのですが、この奥さんが帰って来てから、うちの上に住んでいる奥さんに声をかけて、子供たちの外遊びが始まります。今日は、午後7時半まで遊んでいました。
うちは角部屋で、隣は駐車場・前は道路に面しています。
なので、うちの周りが遊び場になっています。

私たちは、まだ2ヶ月の娘がおりますので、息子を連れて外遊びをするのは午前中が多いです。
午前中行かなかった時は、午後4時から6時の間にお散歩をします。

で、困っている事は・・・
うちの上に住んでいる方々の外遊びの時間帯が遅いので、うちの息子が
また外で遊びたいと言い始めるのです。
この時間はだいたい夕食の時間にしていますし、今日なんかは暗くなっても遊ばせていたので（うちは暗くなると外で遊ばせないようにしています）、とても迷惑しています。

この方々とは交流がないので、どうしたらいいものなのか悩んでいます。
私の心が狭いのでしょうか？