ママ友と距離くいい方法を教えてください

第一子（現在1歳11ヶ月）を出産し、支援センターで知り合った同じ年の子を持つママ友6人とグループを作り月に一回程度遊んでいました。
育休後仕事復帰して会う機会も減りましたが、この度、第二子出産でまた産休に入りました。
距離を置きたい理由は、産前休暇に入ってから突然電話で今から行ってもいい？と何度か電話があり、たまたま用事があったので断りました。産後退院して3日でまた電話があり、子供達が昼寝をして起きてしまうので出ませんでした。後で電話で謝りましたが、さっきみんなで集まってたから、家に居たら行こうと思って。とのことでした。どうしても渡したい物があるから、すぐに帰るし、後日、行ってもいいか？と言われたので、来てもらうことにしました。
提示かれた日にちは産後二週間でしたが、みんなの都合が合うとのことで、来ててもらうことにしましたが、私は里帰りもせず、一人でやっていますし、帝王切開だったので傷も痛む中、掃除やおやつの買い物など大変でした。
当日、子供達の洋服をお祝いで持って来てくれて、その心遣いにはとても嬉しかったのですが、すぐに帰ると言っていたのに四時間もいました。
全員、専業主婦で子供は一人です。みんな子育ての経験があり、新生児がいてさらに上の子の育児で大変だと分かりそうなものですが、子供たちと家にいても退屈だし大変だし、遊びにきて息抜きでもしてるのかな？と思いました。
また仕事復帰するのでそれまでと思えばいいのかもしれませんが、どうしてもそんな感覚の人達との付き合いが嫌になってしまいました。
今は余裕がなくて嫌になっているだけかもしれないので、距離を置きたいのですが、また電話がかかってきたら何て断ろう。と悩んでしまいます。
同じ境遇にあった方や、何かいい方法を思いつくかたはお知恵を貸してください。