小規模言語モデル（SLM）とは？LLMとの違いやメリットを解説
- 2024年11月19日
- 読了時間: 9分
更新日：2月5日
「SLMはどんなものなのか？」
「SLMはどのようなビジネス課題を解決できるのか？」
生成AIについて調べるうちに、このような疑問を持った方は多いのではないでしょうか。
近年では生成AIの発展にともない、ChatGPTやGeminiなどの大規模言語モデル（LLM）の開発競争が激化しています。実際に日々の生活や仕事の中で、これらの生成AIを活用している方も少なくないでしょう。
しかし一方で、運用コストを抑えて、特定の分野に特化した小規模言語モデル（SLM）にも注目が集まっています。
そこで本記事では、SLMとLLMの違いやSLMのメリット・デメリット、近年登場した代表的なSLMについて解説します。
SLMの概要を知りたい方や、自社にSLM導入を検討している方はぜひ参考にしてください。
＜目次＞
SLM（Small Language Model）とは
SLM（Small Language Model）とは「小規模言語モデル」と訳される、2024年頃から登場しはじめた軽量型AIモデルです。ChatGPTやGeminiなどのLLM（Large Language Model）、いわゆる「大規模言語モデル」とは対になる概念です。
SLMはコスト面や運用の柔軟性に優れており、ここ1年で10社以上のSLM開発プラットフォームが登場しています。現在ではスタートアップ企業が先行して開発していますが、今後はGoogleなどの大手企業も参入する可能性がある注目度が高い技術です。
SLMとLLMの違い
SLMとLLMはどちらも自然言語処理を可能にするAIですが、それぞれの主な違いは以下2つです。
パラメータ数（モデルがどのくらい多様で複雑な処理をできるかを表す指標）
学習データ範囲
SLMとLLMの明確な定義はありませんが、一般的にSLMは数億～数十億、LLMは数百億～数兆ものパラメータを持ちます。また、LLMはインターネット上の膨大な情報が学習範囲のため、ユーザーの多様な問いかけに対応可能です。一方、SLMは特定の目的や領域に特化したデータを主に学習します。
一般的には学習データが増えるほど性能が上がるとされていますが、学習データが膨大なLLMにはデータ不足やコンピュータのリソース不足など限界があります。
その点、SLMでは学習範囲を特定の分野に絞ることで、データ不足やリソース不足の問題を解決できるのがメリットです。現在では、SLMのように学習データやパラメータ数を少なくしても、回答の質を維持できるような研究に需要が高まっているといえるでしょう。
SLMは医療・法律など機密性の高いデータを扱う業界にマッチ
SLMは、医療・法律など特にデリケートなデータを扱う業界に適性があります。
小規模なモデルの利点として、ローカル環境での実行も可能な点が挙げられます。データを外部サーバーではなく顧客の環境内にとどめられるので、デリケートなデータを扱う業界の機密性やプライバシーの懸念に対処しやすいのです。
また、SLMはLLMに比べると汎用性に欠けますが、特定分野のデータセットで学習することで、LLM以上の性能を発揮することも可能です。医療・法律など外部に漏らせない機密性の高いデータを用いて、質の高いアプリケーションを開発したい場合はSLMが向いているでしょう。
SLMを用いるメリット
SLMにはどのようなメリットがあるのでしょうか。以下では、主な5つのメリットを紹介します。
開発コストの削減
SLMの大きなメリットは、開発コストを抑えられる点です。
SLMはLLMに比べてデータのサイズが小さいため、計算に必要なGPU性能やエネルギー消費が少なく済みます。そのため、SLMの開発では設備コストや人件費、消費エネルギーのコストをLLMに比べて低く抑えられるのです。
トレーニング時間の短縮
SLMはLLMに比べて学習するパラメータ数が少ないため、トレーニング時間を大幅に短縮することができます。例えば、LLMはトレーニングに数十日〜数ヵ月かかるのに対して、SLMは数日程度でトレーニングが完了します。
スマホ・オフライン環境でのAI活用を実現
SLMを用いれば、スマートフォン・タブレットなどの端末上や、オフライン環境でも動作させることが可能です。スマートフォンで撮影した画像をオフラインの外出先で認識したり、ネット接続のないデジタルサイネージ上で対話したりといったこともできます。
ハルシネーションの防止
SLMの使用はハルシネーションの防止にもつながります。
ハルシネーションとは、生成AIはあたかも真実のように嘘の情報を出力する現象のことです。AIが急速に普及したことで、問題になっている現象でもあります。
LLMは膨大なデータを学習する反面、ハルシネーションを起こすリスクが高くなります。一方、SLMは特定の分野や目的に絞って学習するため、誤った情報を生成するリスクが低いとされているのです。
セキュリティとプライバシーの担保
SLMはセキュリティとプライバシーの担保にも重要です。
LLMを使ったシステムは、外部のクラウドサービスを利用することになるため、セキュリティやプライバシーの問題が懸念されます。医療・診察などのセキュリティとプライバシーを担保すべきシステムにおいて、外部のクラウドを利用することにはどうしても抵抗があるでしょう。
その点SLMなら、自社の環境内のみでのシステム運用が可能なので、セキュリティ・プライバシーの点でもリスクを抑えることが可能です。
汎用性を求めるならLLM
SLMの主なデメリットには、以下のようなものがあります。
汎用性が低い
データ収集やトレーニングに専門知識が必要
SLMは特定分野の特定のタスクにおいては高い性能を発揮しますが、LLMのような汎用的なタスクの処理をこなすのは困難です。
また、特定分野に特化するゆえに、正確かつ専門的な情報を集める必要があります。特に、医療・法律などの気密性や専門性が非常に高い分野では、データの収集やトレーニングに専門的な知識とスキルが必要です。
SLMとLLMは開発したいモデルの用途や目的に合わせて使い分ける必要があります。汎用性のあるシステムを求めるならLLM、専門性が高いシステムが必要ならSLMが適しているでしょう。
続々と登場するSLM
SLMは近年次々と発表されています。開発企業は大手テック企業からスタートアップまでさまざまです。
以下では、代表的なSLMについてみていきましょう。
Apple Intelligence
Apple Intelligenceは、2024年7月にAppleから発表されたSLMです。「iOS 18.1」「iPadOS 18.1」「macOS Sequoia 15.1」から提供開始され、アップルデバイス上で使用できます。
主な機能は、テキストの生成や校正、画像や絵文字の生成、Siriの機能改善などです。Apple Intelligenceはデバイス内の画像、ファイル、アプリ内の個人情報を扱うため、セキュリティ保護にも力を入れています。
Phi（ファイ）-3
Phi-3は、積極的にSLMを開発しているMicrosoftのオープンソースのSLMです。
シリーズ最小の「Phi-3-mini」はスマートフォンなどの小型デバイスで動作する軽量さですが、2倍のサイズのモデルよりも優れた性能を持ちます。無料かつ商用利用も可能なため、幅広い分野で活用されています。
OpenELM
OpenELMは、2024年4月にAppleから発表されたオープンソースのSLMです。
最小の270Mモデルは、わずか2.7億パラメータしかなく、スマホやタブレットの小型デバイスでも快適に動作する軽量さです。
OpenELMは、Apple独自の「CoreNet」というライブラリデータによりトレーニングされている点も特徴です。これにより、バイアスの少ない公平な回答生成も実現できるとしています。
Gemini Nano
Geminiとは、2023年12月にGoogleが発表したマルチモーダル生成AIモデルです。Geminiは主要な指標の多くであるGPT-4を上回る性能を持ち、大きな注目を集めています。
Gemini Nanoはその中でも軽量なモデルで、クラウド接続を必要とせず、デバイス上でローカルに動作します。GooglePixelスマートフォンやGoogleアプリにも導入されおり、日常的にも目にする機会が多いでしょう。
現在はレコーダーアプリによる音声の要約機能や、オフラインでも動作するテキストエディタ機能が搭載されています。
Copilot
CopilotはMicrosoftが開発した生成AIツールです。Microsoft製品と組み合わせて使用できることが最大の特徴であり、最近ではCopilotが標準搭載されているノートパソコンも発売されています。
Copilotは例えば以下のシーンで使用できます。
Word：議事録や企画書の自動作成
PowerPoint：データを基にしたスライドの自動生成
ただし、Copilotは検索エンジンBing上のデータを学習しているので、出力内容のファクトチェックが必要になります。
Glaive-Coder-7b
Glaiveはアメリカのスタートアップ企業です。2023年9月にGlaive-Coder-7bというSLMを公開しています。Glaive-Coder-7bは14万以上の合成プログラミングの問題と解決策を用いて学習した、コード生成に特化したSLMです。
ミストラルAI
ミストラルAIは2023年に設立され、急成長しているAIスタートアップです。
ミストラルAIのSLMは、Meta社のLlama 2 13Bに引けを取らない優れた性能を示しています。特に、数学・コード生成・推論の分野に長けています。
サカナAI（Sakana AI）
サカナAIは、日本発の生成AIスタートアップ企業です。生物の進化の仕組みを模倣した革新的な開発手法で、高性能なモデルを次々と開発しています。
日本語など特定の言語に対応したSLM開発に注力しており、複数の画像について日本語で質疑応答できるSLMを公開しています。NTTとの提携や、NVIDIAから出資を受けるなど、今後の注目度が高い企業です。
Gemma
Gemmaは、2024年2月にGoogleが公開したSLMです。
同社のAIモデル「Gemini」と同じ技術を用いることで、他社の大型オープンモデルを上回るパフォーマンスを実現しています。Gemmaは軽量設計のため、ノートPCやワークステーション、Google Cloud上でも実行可能な点が特徴。
GPT-4o mini
GPT-4o miniは、OpenAIの最新モデル「GPT-4o」の小型版として登場しました。
GPT-4oは100万トークンあたり5ドルの費用がかかるのに対し、GPT-4o miniは15セントと高いコストパフォーマンスを実現しています。現在はテキストと画像入力のみにとどまっていますが、将来的には音声や動画も含むマルチモーダル出入力を目指しています。
まとめ：SLMはLLMの課題を解決する言語モデル
本記事では、SLMとLLMの違いやSLMのメリット・デメリット、近年登場した代表的なSLMについて解説しました。
SLMはLLMと同様に自然言語処理を可能にするAIですが、モデルの規模が小さいことが特徴です。
また、SLMには主に以下5つのメリットがあります。
開発コストの削減
トレーニング時間の短縮
スマホ・オフライン環境でのAI活用を実現
ハルシネーションの防止
セキュリティとプライバシーの担保
SLMはLLMと比較して汎用性が低いことがデメリットですが、特定の分野、特定のタスクに絞ることで高性能を発揮できます。また、ローカル環境でも運用可能なため、気密性の高いデータを扱う医療・法律などの業界に適しているといえるでしょう。 SLMはLLMの課題を解決する言語モデルといえます。特化型の自然言語モデルとして、今後もさまざまな企業で開発されていくでしょう。
