掲載日：2024/02/07
ChatGPTをはじめとする生成AIは、人間とやりとりをしているかのような自然言語による対話が特徴です。これには大規模言語モデル（LLM：Large Language Model）が大きな役割を果たしています。本記事では、大規模言語モデルの概要や、主な大規模言語モデルの一覧などを紹介します。大規模言語モデルでできることやその仕組み、生成AIに関心のあるエンジニアの方は、最後まで読んでみてください。
大規模言語モデル（LLM）とは
人間が使用する自然言語のパターンを理解し、単語の出現確立を分析することで、ある単語の次にくる単語を予測するしくみを言語モデルといいます。大規模言語モデル（LLM）とは、大量のテキストデータを用いて学習した言語モデルです。
人間が用いる言語パターンを分析しているため、大規模言語モデルが出力する文章を人間が見ても違和感を抱きにくいです。ChatGPTなどの生成AIに組み込まれており、人間と自然な言葉のやり取りを実現しています。
大規模言語モデル（LLM）の仕組み
大規模言語モデルは、事前学習で大量のテキストデータを学習し、追加データで微調整をするファインチューニングを繰り返し行い、生成する文章の精度を高めています。
学習した言語に含まれるパターンを分析した結果を基に、人間が書いたような自然な文章を生成しています。大量のテキストデータを単語ごとに分解し、単語間の繋がりを理解することで、次に続く確率の高い単語の選択を可能としています。
大規模言語モデル（LLM）の一覧
次に大規模言語モデルとして主なものを7つ紹介します。現在活用されている主な大規模言語モデル（LLM）の一覧は次の通りです。
| 名称 | 企業名 | パラメータ数 | 発表年 |
|---|---|---|---|
| GPT-4 | OpenAI | 非公表 | 2023年 |
| PaLM2 | 5,400億個 | 2023年 | |
| LaMDA2 | 1,370億個 | 2022年 | |
| LLaMa2 | Meta | 700億 | 2023年 |
| Claude2.1 | Anthropic | 520億個(推定) | 2023年 |
| OpenCALM | サイバーエージェント | 約68億個 | 2023年 |
| Alpaca 7B | スタンフォード大学 | 約70億個 | 2023年 |
ここからは、各大規模言語モデルの概要を解説していきます。
GPT-4
GPT-4（ChatGPT）は、最大1,750億個のパラメータ数を持つGPT-3.5からさらに進化を遂げたOpenAI社開発のマルチモーダルAIに搭載された大規模言語モデルです。テキストデータだけでなく、画像や音声の入力や生成も可能になりました。具体的なパラメータ数は非公表ですが、1兆個を超えると言われています。
PaLM2
PaLM2は、Googleが2023年に発表した大規模言語モデルです。5,400億個のパラメータを持つ前身のPaLMからパラメータ数を減らして、より効率的な言語モデルとして開発されました。Googleの検索結果に生成AIを活用するSGE（Search Generative Experience）にも搭載されています。
LaMDA2
LaMDA2は、2022年にGoogleが発表した大規模言語モデルです。2021年5月に発表された前身モデルのLaMDAからバージョンアップされ、当初Googleが提供する生成AIのBardに実装することも検討されていました。
LLaMa2
LLaMa2は、FacebookやInstagramを運営するMeta社が開発した大規模言語モデルです。前身のLLaMaのパラメータ数650億個からさらに増え、最大700億個のパラメータを有しています。パラメータ数は、70億、130億、700億の3種類のモデルがあり、それぞれ事前学習済みのタイプとチャット用にファインチューニングされたタイプが提供されています。
Claude 2.1
Claude 2.1は、OpenAIの元エンジニアが立ち上げたAnthropicによって開発された大規模言語モデルです。トークン数が100,000（GPTは32,768）と多いことから長文の入出力に強みを持っています。
OpenCALM
OpenCALMは、サイバーエージェントが開発した日本語の大規模言語モデルです。パラメータ数は最大68億個で、チャットボットに特化させるなどチューニングを行わず、さまざまなシーンで使えるような汎用性の高い状態で公開しており、国内のAI技術発展に寄与することが期待されています。
Alpaca 7B
Alpaca7Bは、スタンフォード大学がMeta社のLLaMaを基に開発した大規模言語モデルです。利用用途は学術目的に限られており、約70億個のパラメータ数を持っています。
大規模言語モデル（LLM）にできること
次に大規模言語モデルを活用してできることを解説します。
● テキストベースのやり取り
● 文章の要約・多言語翻訳
● コンテンツ制作
● プログラミング
それぞれ詳しく解説します。
テキストベースのやり取り
大規模言語モデルは自然言語の生成が可能なため、この技術を用いてユーザーとテキストベースでのやり取りが行えます。例えば、チャットボットに活用すれば、24時間365日対応可能な問い合わせツールが開発できます。また、事前にデータを学習させれば、学習内容に関する質問に回答する対話型AIツールにも応用可能です。
文章の要約・多言語翻訳
大規模言語モデルに要約や翻訳をしてほしい文章を読み込ませると、短時間で要点の抽出や希望する言語への翻訳が可能です。大量の論文や会議資料をまとめなければならないときに役立ちます。要約を指示するときは、どのような観点からまとめてほしいかを指示すると、欲しい情報を中心にまとめてもらえます。
コンテンツ制作
大規模言語モデルに記事コンテンツ制作を任せられます。テーマを与えるだけで記事生成が可能ですが、ターゲットやコンテンツの目的など、詳細に設定すれば、精度を高めることも可能です。他にも既存の記事コンテンツの質を高めるためのリライトや誤字脱字の修正にも活用できます。記事コンテンツ制作に大規模言語モデルを活用すれば、クリエイターが行う作業の負担軽減や効率化が期待できます。
プログラミング
大規模言語モデルはプログラミング領域でも役立ちます。コーディングやバグの検出、コードレビューに活用可能です。どのようなコードを書いてほしいか伝えれば、簡単にコードの生成ができ、バグの検出では、入力したコードに含まれるエラーを検出し、修正方法を教えてもらえます。コードレビューでは、入力したコードを分析し、セキュリティリスクの特定やパフォーマンス向上のためのアドバイスがもらえます。
大規模言語モデル（LLM）を活用した主なサービス
ここからは、大規模言語モデルを活用した主な生成AIサービスを紹介します。どれも現在多くの方に利用されているサービスのため、それぞれどのような特徴があるのか参考にしてください。
● ChatGPT
● GoogleBard
● NotionAI
● Bing AI
各サービスについて順番に見ていきましょう。
ChatGPT
ChatGPTは、OpenAIが開発したGPT-3.5やGPT-4を活用した生成AIです。生成AIの中では知名度が高く、登場してから約2ヶ月で全世界ユーザーが1億人を突破したと言われています。
現在GPT-4は有料版のみで提供されていますが、テキスト生成だけでなく、画像認識やCSVなどのファイル分析、Pythonコードの実行、音声による対話も可能で幅広い用途に活用可能です。同じく有料版では画像生成AIのDALL-E3も実装されており、クオリティの高い画像生成も行えます。
Bard
GoogleBardは、Googleが提供する生成AIです。Googleアカウントを持っていれば無料で利用可能です。現在はPaLM2を言語モデルとして活用しています。
GmailなどGoogle関連サービスとの連携や、入力した指示に対して必要な情報をWeb上から自動で検索してくれます。また、回答も一度の指示に対して3つ返してくれるため、最も良い回答を見比べて選択することも可能です。
NotionAI
NotionAIは業務効率化ツールのNotionに搭載された生成AIサービスです。使用されている言語モデルは公開されていませんが、自然な文章を生成してくれます。
NotionAIはテキストファイル上に直接文章生成を行ってくれるため、AIが生成した文章をそのまま編集することや追加指示を出して修正させることができます。最近追加されたQ&A機能では、自分が作成した全ての情報の中から検索し、回答を生成できるようになりました。
Bing AI
Bing AIは、Microsoftが提供するWebブラウザBingに搭載された生成AIサービスです。GPT-4を言語モデルとして採用し、質問に対してWeb上を検索しながら的確な回答を生成してくれます。
回答時には、次の質問の選択肢を示してくれるため、簡単に網羅的な検索が可能です。また、回答にはソースとなるサイトのリンクも表示してくれるため、回答のファクトチェックも簡単に行えます。
大規模言語モデル（LLM）の課題
現在、大規模言語モデルが抱えている課題を3つ紹介します。大規模言語モデルが抱える課題は生成AIの課題ともいえます。これから大規模言語モデルが搭載された生成AIを活用される方は、よく読んだ上で利用しましょう。
● ハルシネーションを起こす可能性
● 著作権侵害のリスク
● 機密情報流出の恐れ
それぞれ詳しく解説します。
ハルシネーションを起こす可能性
入力された指示に対して、ハルシネーション（幻覚）を起こす可能性があります。実際に学習していない内容を質問されても「わからない」と回答するのではなく、もっともらしい誤った回答を生成してしまいます。
例えばChatGPT（GPT-4）は、2023年4月までの情報は学習済みですが、それ以降の最新情報についてはWeb上で検索しなければ、誤った回答を生成してしまう恐れがあります。大規模言語モデルを利用する際は、回答のファクトチェックを必ず行うようにしましょう。
著作権侵害のリスク
大規模言語モデルから生成されたテキストをそのままコンテンツなどに利用すると、著作権侵害にあたる恐れがあります。生成されたテキストが学習に使用した既存の著作物と類似する場合や、既存の著作物を大規模言語モデルに入力し文体に修正を加えさせて利用する場合などは、著作権侵害に該当する可能性があります。
生成AIと著作権に関する問題は、法整備が追いついていない部分もあるため、商用利用する際は慎重に検討しましょう。
機密情報流出の恐れ
大規模言語モデルに指示をする際、入力した情報の中に機密情報が含まれていると、その機密情報が学習に使用されてしまうリスクがあります。機密情報が学習に使用されてしまうと、他のユーザーがその大規模言語モデルを利用する際に、機密情報が回答に含まれてしまう場合があります。
大規模言語モデルを利用する際には、入力した情報を学習に使用しないモデルを利用することや、機密情報を入力しないことを心掛けましょう。
まとめ│大規模言語モデル（LLM）の進化を見逃さないようにしよう
今回は大規模言語モデル（LLM）の一覧や主なサービスなどについて解説しました。大規模言語モデルは、生成AIの根幹を担っており、日々新しいモデルが開発されています。
一方で、発展途上でもあるため、ハルシネーションや情報漏えいなどのリスクも内包しています。正しく生成AIを利用して、最新技術の吸収や業務効率の向上にお役立てください。