Googleが新たに発表した「EmbeddingGemma」は、モバイルデバイスでの使用に特化した最新のマルチリンガル埋め込みモデルです。このモデルは308Mのパラメータを持ち、2Kのコンテキストウィンドウを提供し、100以上の言語をサポートします。EmbeddingGemmaは、現在、Massive Text Embedding Benchmark (MTEB)において500M未満のテキスト専用マルチリンガル埋め込みモデルで最高ランクを誇ります。また、このモデルは、文脈情報を効果的に利用する双方向注意機構を用いており、通常の情報検索タスクでの性能を向上させています。最終的には、768次元のベクトルとして高品質な埋め込みを生成し、あらゆるデバイスで高い効率性を実現します。この記事では、このモデルのアーキテクチャやトレーニング方法、さまざまなフレームワークを使用した活用法についても詳しく説明されています。