私も耳垢カサカサです。
「ガサ」という音もよくわかります。私の場合、「大物がいる☆」と思ってドキドキしちゃうんですよ。(笑)

　さて、「痛い」ということは、奥までやり過ぎているということじゃないかなぁと思います。あと強すぎるとか。
耳掃除は、入り口1cm以内のところを掃除する感じでやれば十分だと思います。無理に奥までやろうとしても、かえって耳垢が奥の方に押されてしまうというか、入ってしまうのでよくないみたいです。
なので、「たまーに」で良いと思います。かゆくなったときにするぐらいで良いと思いますよ。頻繁にやりすぎるのもよくないみたいですし。

ちなみに私は、1ヶ月か2ヶ月に1回ぐらい思い出した頃に掃除してます。(テキトーですみません)
お風呂上りは耳の中も湿ってそうなので、そのとき掃除します。それ以外の時は、綿棒にワセリンか、サンプルで貰ったオリーブオイル?みたいなのをちょこっと付けて、掃除します。

私のそうじ方法も書いておきます。参考にどうそ。

①耳の穴に綿棒を入れたら、耳の外周（外枠？壁？)に添うように、大きく円を描くように、ゆっくり15秒ぐらいかけて一周します。
②綿棒をくるくる細かく回転させながら、①のようにゆっくり一周します。

くれぐれも、奥まで綿棒を入れてはなりません。
入り口を掃除する感覚ですると丁度怖さも軽くなりますし、意外と気持ち良いですよ。

　あと、皆さんのおっしゃるように、耳鼻科で取ってもらうのも良いと思います。
ずっと前に取ってもらったんですが、シュッと一瞬で痛みも何もありませんでした。耳もスッキリする感じがします。

何か良い方法が見つかるお手伝いになれば何よりです。