この記事では、視覚言語モデル(VLM)をインテルCPU上で簡単に実行する方法を紹介しています。VLMは、画像や動画の分析、シーンの説明、キャプション作成、視覚コンテンツに関する質問への回答が可能なモデルです。自身のデバイスでAIモデルを実行することでプライバシーの向上や速度、信頼性が得られます。本記事では、特に低リソースで実行可能なSmolVLMを使用し、Optimum IntelやOpenVINOを活用して、モデルの変換、量子化の方法を説明します。最初にモデルをOpenVINO IR形式に変換し、その後、量子化を行います。量子化はモデルのサイズを小さくし、動作を高速化するための技術であり、重みの量子化や静的量子化の方法を詳述します。これにより、限られたリソースを持つデバイスでも効率的にVLMをデプロイ可能になります。