本論文では、Well-initialized Lottery Ticket Hypothesis（WLTH）に触発され、最適なソフトネットワークを各課題ごとに順次学習し選択する新しい完全微調整連続学習（CL）法であるSoft-TransFormers（Soft-TF）を提案します。 Soft-TFは、連続学習の過程で事前訓練されたレイヤパラメータを固定しながら、よく初期化されたSoft-TFマスクを介して希少レイヤの重みを最適化し、課題適応型ソフト（実数値）ネットワークを取得します。推論されると、識別された課題適応ネットワークは事前訓練されたネットワークのパラメータをマスクし、各課題の最適なソリューションにマッピングし、致命的な忘却（CF）を最小限に抑えます。ソフトマスキングは、事前に訓練されたネットワークの知識を保存します。 Vision Transformer（ViT）とLanguage Transformer（Bert）の広範な実験により、Soft-TFの効果を実証し、ビジョンと言語クラス増分学習（CIL）シナリオで最先端のパフォーマンスを実現します。
