「公開するApple vs. 隠すOpenAI」アップルが300億パラメータのマルチモーダルAI「MM1」発表。重要論文5本を解説（生成AIウィークリー）

https://nordot.app/

Appleは、高性能なMLLMを探るべく、モデルの構造や学習に使うデータの選び方がモデルの性能にどのように影響するかなどを詳しく分析した論文を公開しました。

例えば、画像とキャプション、画像と文章が混ざったデータ（インターリーブ画像テキストデータ）、文章だけのデータを上手に組み合わせて事前学習を行うことが、少ない例でも高い性能を出すために大切だということがわかりました。

また、モデルの性能には、画像エンコーダの損失と容量、画像の解像度（高い解像度が良い）、画像エンコーダを事前学習するために使用されるデータの種類や量が大きく影響することがわかりました。一方で、画像と言語をつなぐ部分の設計はあまり重要ではないことがわかりました。

これらの知見などを基に、研究チームは3B（30億）、7B（70億）、30B（300億）のパラメータを持つMLLMファミリー「MM1」を構築。アーキテクチャでは、事前学習済みの画像エンコーダと言語モデルを組み合わせています。

※本記事は、スウィングクルーがピックアップしているマーケティング関連ニュースのクリップです。スウィングクルーが発表しているニュースではございません。