オープンソースLLMまとめ：Llama 3.1/Tsuzumi/Falconなど

近年、ChatGPTやMicrosoft 365 Copilotなどの生成AIを使用する機会や、AIで生成されたイラストなどを見る機会が増えました。AI技術のなかでも、注目すべきは自然言語処理（NLP）の領域です。

とくにLLM（大規模言語モデル）の技術は日進月歩の進化を遂げて便利になり、精度も良くなってきています。

本記事では、オープンソースLLMの概念や仕組み、メリット、デメリットなどについて詳しく解説し、さらに代表的なオープンソースLLMの紹介と比較をしています。また、オープンソースLLMを実際に利用する際に選ぶポイントについても解説しました。

オープンソースLLMを利用すれば、低コストで自社に最適なシステムを構築できます。ぜひ、記事をご覧になり、オープンソースLLMの採用を検討してみてください。

オープンソースLLM（大規模言語モデル）とは？

オープンソースLLMについて解説する前に、まずは言語モデルや大規模言語モデルについて知る必要があります。

したがって本章では、言語モデルや大規模言語モデルについて詳しく解説し、理解が深まったところでオープンソースLLMについて解説します。

言語モデルとは

言語モデルとは、人間が会話で用いる「言葉」や「文章」をもとにして、単語の出現確率をモデル化する技術です。

たとえば、あなたが日頃から使用している言い回しや文章の意味を理解した上で、次にどの単語が続くのかを推測します。このように言語モデルは、人間の言語を理解し、予測を可能とする技術です。

大規模言語モデル（LLM：Large Language Models）は、言語モデルの1種で、近年はニューラル言語モデルが主流になっています。

LLM（大規模言語モデル）とは？特徴や仕組みを詳しく解説

LLMは、言語モデルよりも「計算量」「データ量」「パラメータ数」を大幅に増やして構築されているのが特徴です。テキスト生成や翻訳、要約、質問応答などの、文章を必要とするタスクに利用されています。

大規模という名のとおり、LLMは数十億から数百億のパラメータを持つことで、高い精度で言語の理解が可能です。

近年ではChatGPTやBERTなどのAI技術が進化したことにより、LLMの需要が急激に高まってきました。

LLMは以下のような5つの手順で構築されます。

1. トークン化：入力文を最小単位に分別
2. 文脈理解：プロンプト内の各トークンとの関連性を計算
3. エンコード：特徴量の抽出
4. デコード：次のトークンを予測
5. 入力文の次のトークンの確率を出力

上記の手順を繰り返すことにより、大規模なテキストデータの処理と学習が可能です。結果として、自然な文章を生成し、出力できます。

LLMについてはほかの記事で詳しく解説していますので、詳細は下記の記事を参考にしてください。
参考：大規模言語モデル（LLM）とは？仕組みやビジネス活用領域を解説

オープンソースLLMとは？

オープンソースとは、誰もが自由に無料で利用できるだけでなく、ソースコードの改変や再配布も可能なソフトウェアを指します。

したがって、オープンソースLLMは、誰もが無料でカスタマイズできるLLMであり、ソースコードやアーキテクチャ、学習済みの重みなどが公開されているものです。

反対に、クローズドLLMはソースコードが非公開で利用にも制限があります。クローズドLLMは専門知識がなくても簡単に利用できるのがメリットですが、コスト面やカスタマイズ性に欠ける点が大きなデメリットです。一方で、オープンソースLLMは自社に最適な形に自由にカスタマイズできます。

オープンソースLLMの4つのメリット

オープンソースLLMの主なメリットは以下の4点です。

• 低コストでシステム構築が可能
  ライセンス料が不要なため、開発コストを大幅に削減できます。ただし、運用にはGPUリソ​​ースやエンジニアリングコストが発生する点には注意が必要です。
• 自社に最適なシステムを構築可能
  ファインチューニングやRAG機能を追加して構築できます。
• モデルの選択が可能
  用途や性能に応じて適したオープンソースLLM（例: LLaMA、Mistral、Falconなど）を選択できます。
• セキュリティとプライバシーの向上
  クラウド環境ではなくローカル環境やオンプレミスで運用すれば、データを外部に送信する必要はなく、機密情報の保護につながります。

RAGについては、下記の記事も参考にしてください。
参考：RAGとは？LLMの課題解決に導く生成AIの技術を解説

オープンソースLLMは多くのメリットがありますが、反対にデメリットもあります。

オープンソースLLMの4つのデメリット

オープンソースLLMの主なデメリットは以下の4点です。

• 商用利用時のライセンス条件
  オープンソースであっても、ライセンスの種類によっては商用利用に制限がある場合があります。導入前にライセンスをしっかり確認することが重要です。
• セキュリティリスク
  オープンソースであるため、脆弱性やセキュリティのあるコードが混入するリスクがゼロではありません。時々導入コードの精査や、強固なセキュリティ対策が求められます。
• 専門知識が必要になる
  オープンソースLLMの運用やカスタマイズには、高度な技術と専門知識が求められます。開発できる技術の確保や育成、外部委託の検討が必要になる場合があります。
• 日本語対応のモデルが少ない
  日本語対応のモデルが少ないため、英語向けのLLMをそのまま使用すると、日本語の生成精度が低くなる傾向があります。 そのため、国内開発のLLMや、日本語対応が強化されたモデル（例: ELYZA、日本言語特化のMistralなど）の活用も視野に入れることも必要です。

以上のようなメリットとデメリットを考慮しつつ、オープンソースLLMの使用を検討してみてください。

オープンソースLLMを選ぶ際のポイント

オープンソースLLMを使用する際には、どのLLMを使用するべきかを検討しなければなりません。選択の際には、以下6つのポイントを考慮する必要があります。

• コスト削減が可能
  オープンソースLLMは無料で利用できますが、ホスティングやトレーニング、リソースなどの費用が別途必要になります。LLMのサイズが大きくなるほどコストが増加する可能性があるため、注意が必要です。
• どの程度の精度が必要か
  タスクに対して適切な精度か否かを確認しておきましょう。また、微調整や検索拡張生成（RAG）で精度を改善できるモデルもあります。
• セキュリティ面
  データセキュリティは、機密データや個人を特定できる情報（PIIデータ）などを扱う場合に重要となります。アクセス制限やセキュリティ制御などが必要です。
• パフォーマンス
  パフォーマンスを言語の流暢性や一貫性、コンテキスト理解度などで測定します。ユーザーエクスペリエンスとタスクの実効性、競争力の高いモデルを選びましょう。
• 専用タスクか多目的か
  タスクの目的に最適なLLMを選択する必要があります。LLMには、より限定的なユースケースを扱えるものと幅広い多様なタスクに対応するものがあるので、状況に応じて選択してください。
• トレーニングデータの品質
  トレーニングデータの品質が悪い場合、出力する結果も悪くなります。したがって、それぞれのLLMが使用するデータを評価して信頼できるモデルを選ばなければなりません。

オープンソースLLMは独自にシステムを構築する必要があるため、上記の条件以外にもプロジェクトチームのスキルセットが重要です。LLMの選択時には、十分な検討を行ってください。

代表的なオープンソース7つのLLMを比較

オープンソースLLMは多くの種類がありますが、そのなかでもとくに注目されている下記の7種類を紹介します。

• Llama 3.1
• Tsuzumi
• Falcon
• Mixtral 8x7B
• MPT
• CyberAgentLM
• Stockmark-13b

それぞれ詳しく見ていきましょう。

Meta社が開発｜最大4050億のパラメータ『Llama 3.1』

Llama 3.1は、Meta社が開発したオープンソースの最新LLMで、2024年7月24日に発表されました。

Llama 3.1のおすすめポイントは、日本語に特化したモデルという点です。

最新LLMのLlama 3.1は、以前のバージョン（LLaMA、Llama2、Llama3）よりもモデルのパラメータ数が増加し、最大4050億となっています。また、長さ1280のコンテキストや8言語のサポートが可能となっており、複雑な文脈の理解が可能です。

加えて、精度が増しているにもかかわらず、処理速度も向上しました。したがって、リアルタイムでの応答や大量のデータ処理も可能です。

オープンソースLLMのLlama 3.1は、最先端機能を持つ高性能なAIモデルといえるでしょう。

NTTが開発した『Tsuzumi』

TsuzumiはNTTが開発したオープンソースLLMです。日本で開発されただけあり、日本語処理能力に関しては高い水準で実現しています。

Tsuzumiはパラメータサイズを増加して日本語学習データの質と量を向上させました。要約や読解の精度が高い点が大きな特長です。したがって、自然言語処理分野のトップカンファレンスにおける論文採択数では、国内企業で1位を獲得しています。

また、Tsuzumiはセキュリティにおいても安心です。物理的なアクセスを厳重に管理する仕組みを構築しています。そのため、機密情報の漏洩リスクを大幅に低減できました。

LLMはテキストデータのみ扱うイメージがありますが、Tsuzumiはマルチモーダルに対応しているモデルです。よって、音声や画像、動画などの情報も収集できます。

Tsuzumiは、柔軟なチューニングができるオープンソースLLMです。

マルチクエリアテンションを備えた『Falcon』

Falconは、アラブ首長国連邦（UAE）に拠点を構えている研究機関「Technology Innovation Institute」が2023年6月に発表したオープンソースLLMです。

機械学習に関するデータ共有サイトの「Hugging Face」上で公開されており、誰でも利用できるようになっています。

Falconは、高度な学習が行われた言語モデルであるという点が大きな特長です。マルチクエリアテンション（MQA）機構を備えているため、少ないメモリ量でも高性能な学習性能を発揮できます。

データ共有サイト「Hugging Face」で公開されているほかのオープンソースLLMとの比較では、ほかを寄せ付けないスペックです。

プログラミング言語にも対応『Mixtral 8x7B』

Mixtral 8x7Bは、フランス発の革新的なスタートアップ企業が開発したオープンソースLLMです。最先端のMixture of Experts（MoE）アーキテクチャを採用し、効率性と高性能の両立を実現しました。

Mixtral 8x7Bの大きな特長として、8つの異なる専門家から最適な2つを選択できる点が挙げられます。最適な専門家を選択することで、高速かつ正確な応答を生成する仕組みです。

オープンソースLLMのなかでは、もっとも性能が高いとされ、自然言語だけでなくプログラミング言語にも優れた理解力を示しています。

Mixtral 8x7Bを活用すると、テキスト生成やテキスト要約、テキストの分類、質問応答、プログラミング言語の生成が可能です。

6万5000トークンを超える推論が可能『MPT』

MPTは米MosaicMLが開発したオープンソースLLMです。MosaicMLは2021年に創業したAIスタートアップで、独自のLLMを開発しています。

MPTは、テキストとコードからなる1兆のトークンをゼロから学習することで、6万5000トークンを超える推論が可能となりました。

トレーニングとインターフェースの最適化には、フラッシュアテンションと高速Transformerを使用しています。従来のLLMでは既存のTransformerを使用していました。一方で、MPTではメモリ効率の高いフラッシュアテンションを採用し、高速化を実現しています。

また、MPTでは複数のモデルを提供している点も見逃せません。これにより、特定のニーズに最適なモデルを選択できます。

サイバーエージェントが開発した『CyberAgentLM3』

CyberAgentLM3は、サイバーエージェントが開発したオープンソースLLMです。革新的な日本語大規模言語モデルが特徴的で、日本語処理能力においては世界トップクラスを誇ります。

既存のモデルとはまったく異なるモデルをゼロから開発し、現在はさらに性能の高いモデルを開発中です。

CyberAgentLM3は、とくに長文処理能力に優れていて、最大32,000トークン（約50,000文字）までの長文処理が可能。225億のパラメータを持ち、自然言語生成、質問応答、翻訳など多様なタスクに対応しています。

CyberAgentLM3は、幅広いアプリケーションでの利用が期待されているだけでなく、今後さらに精度が高まることが予想されるオープンソースLLMです。

130億のパラメータ『Stockmark-13b』

Stockmark-13bは、AWSジャパンの「AWS LLM 開発支援プログラム」を活用して開発されたオープンソースLLMです。日本語に特化していることと、MIT Licenseで公開されていることで、容易に商用利用ができます。

Stockmark-13bは130億のパラメータを持ち、同規模のモデルと比較すると最大約3倍の処理速度です。実測データでは、ChatGPTの約4倍の結果が出たと報告されています。

独自に収集したビジネス関連のWebページや特許データを学習に使用したことで、ビジネスに特化した使い方が可能です。

また、大規模な事前学習などによりハルシネーションを抑制しました。従来の生成AIでは誤情報が大きな課題となっていましたが、Stockmark-13bでは信頼度が大きく高まっています。

まとめ～オープンソースLLMで最適なシステムを構築～

本記事はオープンソースLLMのメリットやデメリット、代表的なモデルの比較などを行いました。

オープンソースLLMは、コストを削減しつつ高性能な自然言語処理を実現するための強力なツールです。選定時には、必要なコストやモデルの精度、セキュリティ面などへの配慮がポイントになります。

オープンソースLLMを利用すれば、低コストで自社に最適なシステムの構築が可能です。ただし、オープンソースLLMはメリットばかりではありません。カスタマイズが可能である一方で専門知識を必要とするなどのデメリットがあります。

今後も、オープンソースLLMの進化に注目し、自社のプロジェクトに最適なシステムを構築してください。