小悪魔ロリータさんへ
私もわりと質問者さん寄りの者で近しい経験があり、共感いたします。
外を歩くとすれ違い様に見惚れられるような美人ではないけれど、
外を歩くとすれ違い様にくすくす笑われるような個性的な顔立ちでもない…はず。
要は人並みです。普通ってことですね。

おじさんキラーってところも(笑)
まあ、中年・老年の男性（あるいは女性も）には、誰もが平等に失っていく「若さ」というフィルターだけでだいぶ可愛らしく見えていますので、（質問者さんがこれに当てはまるかはわかりませんが）派手でない顔立ちだったり童顔だったり黒髪でコンサバファッションだったりすると実際の顔立ちにはあまり関係なく好意をもたれやすい傾向にあるのでちょっと参考にはなりませんね。
ちなみに、質問者さんの年齢はわかりませんが相談内容からしておそらく10～20代でしょう。これで30代、40代でも周りの女性を差し置いて数多くの年配の男性からモテモテだったらおやじキラーを名乗るに値します。
容姿は、同世代からの評価こそがシビアながら正当だと思います。

生まれながらにして整っている方とそうでない方の差はついています。
顔や体のつくりにおいて遺伝的要素は大きいためです。
そしてそれは努力だけではどうにもならない部分でもあります。
努力は大事ですが、現実、努力だけでは変わらないことも多々ありますので綺麗言でもあります。
失礼ながら例えを出すと、お笑い芸人の三浦靖子さんが女優の北川景子さんの顔になりたいと願って、メイクやスキンケアや体型管理をどんなに頑張ったところで無理です。

美人かどうか、はあくまでその時代における「美人の基準」と合致している顔です。現代日本では米の影響を強く受けているため、西洋風の顔立ちがちやほやされますね。モデルさんのハーフ率を見てもお分かりかと思います。「小顔・くっきり二重・高くてツンとした鼻」などでしょうか。
ところが、これが江戸時代だと瓜実顔と言って、「面長・切れ長の目・おちょぼ口」が美人とされており、現代もてはやされている西洋人風の彫りの深い顔の女性は異質で敬遠され、ひどい場合は差別を受けたりなど。
美に関して個人の美的感覚の違いは勿論ありますが、悲しいかな人は社会や大衆の影響を受けやすく、それがそのまま自分の価値観であると錯覚してしまいますので、似たような顔立ちの支持がその時代のマジョリティとなり幅を利かせます。
つまり、絶対的な不細工・絶対的な美人は存在しません。

知り合いの方は、その自分こそが性格ブスであることに気付いていない…いえ、人格が歪んでいるとても残念な方です。
他人から無駄に傷つけられる必要はないです。私ならば距離を置きます。
他人を攻撃している者は、大抵その本人が何らかの強いコンプレックスを抱えているものです。
他人を貶すことで自分のアイデンティティを保とうとする可哀相な人なので、君子危うきに近寄らずです。
また、時に強く言い返すことはできないのでしょうか？
不当な事には反論して自分の意思を表に出さなければ、このようなケースでは損をします。
ただ悲しんでいるだけではあなたの感情が凄くもったいないです。
人間はその相手だけではありませんから、たった一人の人間の悪意ある言葉で自分の存在が否定されたなんて思わなくていいです。お気持ちはよーくわかりますけどね。
他人に容姿を貶されて悲しんでいる姿は、あなたの親御さんがもっとも胸を痛めると私は思います。

また、そこで美容の努力を怠ってしまうと、何も思っていなかった大多数の他人の評価までも自ら下げてしまいかねません。
誰の為に美容に力を入れているのでしょう？
その人のためだけにやっているわけではありませんよね？
他にたくさんの人間と毎日顔を合わせていますよね？
そして、その多くの人間は「ある人物の言葉に傷ついて質問者さんは美容に力を入れられなくなった。」という経緯も事情も知る由などありません。他人の事情は、案外みんな知りません。したがって「そいつひどい奴だなー」とも「そんな理由があったなんて可哀相だな」とも配慮などなく、ただ第三者に「美容に無関心な人」の印象を与えるだけです。


対処できるのは
・貶す人間にはそうさせる何らかの心理的理由（コンプレックスだったり過去の傷だったり）があると知り、それを発見する（わかる）と何か言われても結構冷静でいられる
・自分は自分。あなたにも人としてその相手と同等の価値があり、低くみることなどない。
この２点かなぁ。
つまり、「心の持ちよう・考え方」で多種多様な相手と付き合わなければならない人間関係は対処していくしかないと思います。