税理士を変更したらどのような手続きが必要ですか？

まず税務署等への届出は必要ありません

顧問税理士を変更する場合は、具体的には、
・変更前の税理士に対し顧問契約を解消するのと同時に、預けてある書類を返却してもらう
・新しい税理士との間で顧問契約を結ぶ
ということになります。新しい税理士には、決算書と申告書の控のほか、必要に応じて過去の書類を提出します。また、状況によっては、新旧の税理士間で情報のやりとりをする場合もあります。