発音記号と舌の位置と唇の使い方をしっかり確認してみてはいかがですか？
たとえば、日本人はLとRの発音の区別が苦手と言いますが、それは日本語のラ行の発音の舌の位置がLとRの中間にあるためです。
これがわかると舌の位置を気にしてカタカナ発音から脱出できそうじゃないですか？
あとは日本語の今残っている50音、子音の発音が結構バラバラであることはご存知ですか？
ハヒフヘホと言った時、ハとヒとフはそれぞれ舌の位置、唇の使い方が違います。
だから拗音(小さいやゆよ、あいうえお)があるんですね。
ヒャヒヒュヒェヒョやファフィフフェフォなど。
これを理解すれば、たとえば「happy」という単語がハッピーなのか、ヒャッピーなのかヒァッピーなのかはたまた違うのかわかると思います。
同じカタカナ発音でも限りなくネイティブに近づけるわけです。

耳で聴いてわからないなら理屈を理解することです。舌の位置、唇の使い方、耳で聴いた時の音との違いに意識してみてください。
あとは慣れれば考えなくてもできるようになります。

あと余談ですが、日本語の「ふ」の発音は英語には存在しないです。気をつけてください。