派遣契約の際の契約書を再度確認しましょう。
たとえば事務で契約したのにコールセンター並みに電話対応に時間がとられ、他の業務を圧迫しているような状況であれば、要改善といえます。
1週間分でもいいので、かかってきた電話の件数やそれに付随して発生した業務内容とかかった時間、本業？の事務作業をこのように圧迫している状況です、といったように状況を整理したメモを作成し、派遣元の苦情処理窓口にメールを送信するといいと思います。（自分の手元にも同じ履歴が残るので）

自分からは直接アクションは起こさず、派遣元から派遣先に一言入れてもらうようにしましょう。
それでも改善しないようなら、派遣元に別の案件を紹介してもらうか、他の派遣会社の案件を探す等すればよろしいかと思います。