英語・外国語の学習に間違いはつきものです。
むしろ当たり前だと思ってください。

エラーを起こすことは、むしろ習得を促進する立役者なのです。

シャドーイングにおいて、モデル音声についていけず、飛ばして
しまうこともあるでしょう。
でもそれは当たり前だと割り切って、立て直してシャドーイングを
継続しましょう!
特にシャドーイング学習をはじめたばかりの頃によくおきる現象です。

音声を聞き、それをずっと継続して繰り返すということは、通常誰もしません。

このタスクに慣れていないためにさまざまな不安や葛藤があるかと思いますが、要はストレスをためずに気楽にやること、これが重要なのです。