その人はそんな思慮に欠けたセリフを言うことで傷つく人がたくさんいる事実を知らないので言うと思います。
まずきっと考えたこともないと思います。
仕事しなくて済むならいいなってだけしか考えたことないのかもしれません。
目に見える事実は知っていても、目に見えない事実を知らない、考えたことない、そしてすぐ、勝手に自分の中でこうだろうと結論をつけたがる人に思います。
「みんなそういうもんでしょ」と思って安心しきってるという意味ではおめでたい性格とも言える気がします。
私もそういう人を見たことはあるし、むしろ私自身がそうなってしまってる時があります。

働くことを望む理由は様々あるはずです。
あなたの働きたい理由の一番がお金ではないから、その点について「働かなくてもいい」と思われた可能性もあります。
でも大半の人はお金をとても重要視するはずです。必要不可欠な生活費だから。
他の理由もあるでしょうね。

家の中のゴタゴタも自分の身体が思うようにならないことも、その人は想像できなくて考えたことないと思いました。

例えば、私はとても風邪などの病気になりづらい身体を持っていて、母に「丈夫で良いね」と言われて育ちました。
風邪をひいて学校を休んだことばかりあった母から見れば当然で、学校の授業についていくのも大変だったと聞きました。
しかし私から見れば、たまに休むということがしたくても熱がないからとか我慢すれば良いとか言われ続けたのもあり、心労が溜まっても我慢し続け、ついに精神科に通う羽目になりました。
そしてこれは母からすればありえなくて、母の性格的にも理解しがたいもののようでした。
私と母の場合ひどい喧嘩になっても関係が変わることなく続いていますが、相入れない考え方は一人一人の間で必ず生じるもののように思います。
あなた自身の周りでも同じことが起きており、また、あなたの側がそう思われていても不思議はないのではないでしょうか。

「ないものねだり」はお互い様なことが多いです。
お互い足りないものがあっては他の人を羨むってあなたがしないで来れたとは思いませんし、あなたが羨ましがられる経験が他にも、決定的な事実としてあったはずです。

問題は「あの人は恵まれている」と言い切ってそれより先を思考しないことにあります。
「あの人は成功して恵まれているなあ……、けれどそれまでの苦労ってどんなに辛いかは私はちょっとくらい想像できるのかなあ？」って思うような思考です。
辛いことが起こらずに一生を終えた人がおそらくいないと思うなら、大きい小さいなど数々の辛いことを誰もが経験している可能性があります。
思いもよらないことがその人にのしかかっていることは、思いもよらないからこそわからないものです。

私は無神経な性格を元々はしていたものですから10代になっても人間関係に悩むことはほとんどなかったのが、ある時自分の無神経さに気がつくことがあり、人から見れば実に能天気だったと今なら思います。
それは恵まれていたし、気づいた瞬間にもまだ恵まれていて事実でした。
でもそうではない事実だって必死に飲み込んだことがありました。

これ以外のことについても、考え方、固定概念はお互い変えるように努力しようと思えたら良いと思います。