GPT-4 ビジョンは時代遅れですか?あなたを驚かせる LLaVA 1.5 のオープンソース代替品を発見してください。

GPT-4 Vision のオープンソース代替品

生成人工知能は、OpenAI の GPT-4 Vision などのマルチモーダル言語モデル (LMM) の出現により急速に進化しました。ただし、これらのテクノロジーの一部は閉鎖的で商業的な側面があるため、一般的な採用が制限される可能性があります。このような状況において、オープンソース コミュニティは LLaVA 1.5 による有望な代替案を提供しています。

LMM の仕組み

LMM は、視覚要素を処理するための事前トレーニング済みモデル、ユーザーの指示を理解して応答するための大規模言語モデル (LLM)、および視覚と言語をリンクするためのマルチモーダル コネクタを組み合わせた多層アーキテクチャを使用します。 LMM のトレーニングは 2 段階で行われます。視覚と言語の調整の初期段階と、その後の視覚要求に応答するための微調整です。このプロセスは非常に計算量が多く、豊富で正確なデータベースが必要です。

LLaVA 1.5の利点

LLaVA 1.5 は、視覚処理に CLIP モデルを使用し、言語に Vicuna を使用します。 ChatGPT と GPT-4 のテキスト バージョンを利用したオリジナル モデルの LLaVA とは異なり、LLaVA 1.5 は多層パーセプトロン (MLP) を使用して言語モデルとビジュアル エンコーダーを接続します。この更新により、視覚的な質問と回答がトレーニング データベースに追加され、合計約 600,000 の例が追加されました。したがって、LLaVA 1.5 は、12 のマルチモーダル ベンチマークのうち 11 で他のオープンソース LMM よりも優れたパフォーマンスを示しました。

オープンソース LMM の将来

LLaVA 1.5 は、アクセス可能なオンライン デモンストレーションのおかげで、限られた予算でも有望な結果を提供します。ただし、ChatGPT によって生成されたデータの使用は非営利目的に限定されることに注意してください。この制限にもかかわらず、LLaVA 1.5 は、費用対効果、トレーニング データ生成のスケーラビリティ、および視覚的な指示の調整の効率の点で、オープンソース LMM の将来への道を切り開きます。したがって、このモデルは、人工知能における将来のイノベーションへの序曲を表します。

LLaVA 1.5 は、オープンソース LMM の新時代の始まりを示します。より効率的でアクセスしやすいモデルを期待することで、生成 AI テクノロジーが誰もが手の届くところにあり、人工知能の無限の可能性が明らかになる未来を思い描くことができます。