早朝のお誘いを断りたい

近所の大型マンション同士の谷間に小さな公園があります。
小5の息子の友達がそのマンションに住んでいるのですが
「その公園で夏休みは朝5時からお父さん、兄弟と野球の練習をしている。一緒にやろう。」
と誘われて行きたがって困っています。
自分が子供の頃は9時近くまで友達の家に遊びに行くのも公園も禁止だったので息子にもそう教えていました(学校関連、野球クラブは別)。朝早くに住宅地で練習は非常識では?と驚いています。
狭いのでボールを打つことはなさそうですがキャッチボールの音でも子供のはしゃぐ声でも近くの部屋の人には聞こえて迷惑だと思います。
今の高級マンションは防音がしっかりしているから大丈夫なんでしょうか。
一緒に付いていければ良いのですが私は朝早く出勤してしまい昼過ぎに母(息子にとっては祖母)が来るまで息子は一人です。
迷惑だからダメ、と言うと相手の親を否定することになりそうだし上手く断る方法はないでしょうか。