研究チームは、このパラメータを「スーパーウェイト」と名付けました。70億のパラメータを持つMetaのLlama-7Bモデルでは、このスーパーウェイトをゼロにするだけで、モデルのテキスト生成能力が完全に失われ、ゼロショットタスクの精度が大幅に低下しました。

パープレキシティ（文章の予測困難さを示す指標）が悪化し、入力プロンプトに対して意味不明の出力が示されました。興味深いことに、このスーパーウェイト以外の上位7000個の大きな値を持つパラメータを削除しても、モデルの性能はほとんど影響を受けませんでした。

https://www.techno-edge.net/article/

※本記事は、スウィングクルーがピックアップしているマーケティング関連ニュースのクリップです。スウィングクルーが発表しているニュースではございません。