私も転職を考えています。社会人4年目です。

私も同じく親に転職の話を振りましたが同じ事を言われ、最初は悩みました。
しかし年齢的にも転職出来るチャンスやタイミングはそんなに長くはないと思い、決心して今は転職先を探しています。

私は某転職サイトのエージェントさんに色々と相談しました。

相談してみると結構不満があった様で話が長くなり驚かれましたが…^^;
そこで「それはそう思って当然だと思いますよ」とか「そこはその会社のいいところなのかもしれません」とか他者の目線でその自分が今置かれている状況を聞いて、答えてくれるので「そう思ってよかったんだな」とか少し安心感を覚えたりしました。

転職の話となるとちょっと込み入った話になるので友達にも相談しにくい…と思うのであればそういったサービスを利用するのも良いと思います。
※あくまでも転職サイトのエージェントさんなので転職ありきで話はされますが…；

どこにでもあわない人や嫌な人はいると思いますが、そのリスクを背負ってでも今の環境から抜け出したい、もっと違う事にチャレンジしたい…だとか目標や希望があるのであればチャレンジすべきと私は考えています。
そもそも転職した先で本当にその様な人がいるのかも誰も分かりません。
自分の運と可能性に賭けるしかないです。

もし上記親の言われた様な、能力云々を気にされているのであれば資格をとったりするのもありかなと思います。不安が少しは解消されるかもしれません。
転職を迷っていても資格取得なら邪魔にならないし親も変な目で見ないと思います。
今年は無理でも来年、再来年、自分が転職を考え続けている姿勢と努力をみていれば親も変わると思います。（私は資格試験を受けたり1年くらい転職するぞー！と言い続けてました笑）
自分はずっと思っていても親は娘の口から聞いた言葉がはじめてですから、一時の感情でそう思ってるんだと思っています。

まだ迷っているのであれば1年ほど寝かせるのも良いかと思います。
逆に1年経ってもまだその様な気持ちなのであれば、転職しよう！とか期限を決めると冷静に今の環境を見つめ直す事が出来るかもしれません。

長々と失礼いたしました。以上、ご参考までに。