2022年11月に突如登場したChatGPT（チャット・ジーピーティー）は、現在では僕たちの生活を変えたテクノロジーとして、世界中で知られるAIチャットボットになりました。
ChatGPTは、自然な言葉を回答できる能力が評価されているAIです。では、ChatGPTはどのような仕組みで言葉を出力させているのでしょうか。
本記事では、ChatGPTが自然な言葉で対話できる仕組みを、ChatGPT歴が日本一長いと自称する僕が、どこよりもわかりやすく解説します。
本記事を読めば、世界中で注目されているChatGPTの仕組みを理解できるでしょう。
ChatGPTが自然な文章を生成できるのはなぜ？
ChatGPTが自然な文章を生成できる理由を、以下の2つのポイントから解説します。
- 次に来る単語の確率を計算しているから
- 従来の技術（RNN）との違いは？
まずは基本的な仕組みから理解しましょう。
次に来る確率の高い単語を出力しているから
ChatGPTは文章を生成する際、与えられた文章に続く単語の中で、確率の高い（関係性の強い）単語を出力しています。
ChatGPTが動いているとき、内部では「GPT（Generative Pre-trained Transformer）」と呼ばれるAIが稼働しています。
GPTはOpenAIが2018年に発表したAIであり、「Transfomer（後述）」と呼ばれる技術を採用して作成されました。
GPTが次に来るべきベストな単語を次々と予測することで、ChatGPTは自然な文章を生成できているのです。
出力されている単語は、もっとも確率が高い単語を選んでいるわけではありません。
これは、ChatGPTの回答に柔軟性をもたせるためだと考えられています。
同じプロンプトでも出力される内容が若干違うのが、一番高い確率の単語を選んでいない証拠です。
従来の技術（RNN）との違いは？
ChatGPTが従来のAIと比べて注目されている理由は、文章を把握する仕組みの違いです。
ChatGPT以前の生成AIには、主に「RNN（再帰型ニューラルネットワーク）」と呼ばれる仕組みが使われていました。
RNNは、文章を前から順番に読んでいく仕組みです。
例えば「今日は天気がいいから公園に行く」という文章があるとしましょう。
その場合RNNの内部では、以下の順番で処理が繰り返されます。
- 「今日」を処理
- 「今日」の処理結果
- 「は」を処理
- 「は」の処理結果
- 「天気」を処理
- 以降繰り返し
上記の仕組みでは文章が生成できても、文章が長くなると単語同士の関係性をうまく把握できず、トンチンカンな文章を生成してしまう点が課題でした。
しかしChatGPTに搭載されているGPTは、Transformerという技術を利用することで、長い文章でもうまく単語同士の関係性をつかみ、自然な会話を可能にしています。
次の章で「Transformer」について解説しているため、より詳しくChatGPTを理解するための参考にしてください。
ChatGPTの心臓技術『Transformer』
ChatGPTが自然な文章を生成できる理由は、「Transformer」という技術が使用されているためです。
Transformerについて、まずは以下に示した図解で全体像を把握してみましょう。
図解では、ChatGPTにはGPTが搭載されていて、GPTにはTransformerが利用されていることを示しています。
つまり、ChatGPTの心臓部分がTransformerなのです。
Transformerは、文章全体の単語同士の関係性を把握できる技術です。
そして、Transformerを用いた上で、大規模な学習データを用いて訓練したAIが「GPT」というわけです。
さらにTransformerの仕組みを理解するために「Self-Attention」について解説します。
Transformerの根幹は自己注意機構『Self-Attention』
Transformerには自己注意機構「Self-Attention」という、ある単語と文章中のすべての単語同士の関係を、正確に把握する機構が利用されています。
Transformerは従来のRNNの仕組みではなく、Self-Attentionを採用することで劇的な進化を遂げたのです。
Self-Attentionは前から順番に文章を読むRNNの方式ではなく、文章全体を一気に把握する仕組みであるため、正確に単語同士の意味合いを理解できるようになりました。
Self-AttentionはTransformerの根幹技術であり、これからのAI時代に欠かせない技術と言えるでしょう。
単語同士の関係性はベクトルの内積で計算している
Self-Attentionが文章全体の単語を瞬時に把握できる理由は、複雑なベクトル※1の計算を行っているためです。
※1：向きと長さをもつ数学的な量のこと。
Self-Attentionでは単語をベクトルに変換し、単語（ベクトル）同士の距離は内積※2よって算出され、単語同士の関係性※3を把握しています。
※2：2つのベクトルと、それぞれのなす角度θによって計算される値。
※3：単語同士の意味が近いほど、ベクトル同士の距離が近くなる性質があります。
Self-Attentionの高度な計算能力がTransformerの優れた点で、ChatGPTが世界中で注目されている理由なのです。
ChatGPTの言語能力を発達させた方法｜ファインチューニングとは？
ChatGPTに搭載されているGPTは、Transfomerを採用した上で、ファインチューニングという学習を行って言語能力を発達させました。
本章では、ChatGPTが言語能力を向上させたファインチューニングの手順について解説します。
Step0：インターネットから作成した穴埋め問題を解く
ChatGPTの言語能力の基礎は、インターネット中にある文章から作成した穴埋め問題を解くことで得られています。
具体的には、学習させる文章データの単語の一部を隠し、元の単語を当てさせる方法で学習を行いました。
例：
今日は天気がよかったので外で遊んだ。
→文章の「天気」の部分を隠し、GPTに予測させる。
穴埋め問題を大量に解くことで、GPTは次に来る単語を正確に予測できる能力を獲得したのです。
穴埋め問題での学習は、ネットの情報から自動で生成できるため、従来の機械学習より効率的なんです。
Step1：教師あり学習を行う
インターネット上での学習だけでは、GPTは差別や偏見を学んでいるためサービスとしては利用できません。
そのため、ここからはGPTをChatGPTにブラッシュアップするための微調整を行います。
前述した穴埋め問題が「Step0」であるのは、ここからがファインチューニングと呼ばれているためです。
まずは「教師あり学習」と呼ばれる、人が質問と回答をセットで作り、GPTに解かせる作業を行います。
インターネットではあまり学習できていない部分を人によって学習させるため、正しい情報や、わかりやすい回答方法などを学べます。
教師あり学習では、文章の要約や感情分析（例：「自動車が壊れた」という文章=ネガティブと分類する）などを行いました。
教師あり学習によって、GPTは言語能力に磨きをかけたのです。
Step2：報酬モデルの学習を行う
次は「報酬モデルの学習」と呼ばれる、次のステップの「強化学習」で使用するAI（報酬モデル）を作成する手順です。
Step3の強化学習では、GPTを教師役のAIによって教育するステップで、教師役AIのことを「報酬モデル」と呼びます。
「報酬モデルの学習」では、以下の手順で報酬モデルを強化します。
- 人がGPTに対して質問し、複数の回答を得る
- 回答を人が順位づけする
※基準は「正しいか」・「人を傷つけないか」・「タスクを解決できるか」の3つ - 順位づけの結果を報酬モデルに学習させる
これで、最後のステップの強化学習の準備が整いました。
Step3：強化学習を行う
最後のステップでは、Step2で学習させた報酬モデルで、Step0と1で学習させたGPTをさらに教育します。
強化学習の手順は、以下のとおりです。
- 人がGPTに質問して回答を出力させる
- 回答を報酬モデルに評価させる
- 以降繰り返し
報酬モデルのフィードバックによって、GPTはさらに良い回答を出力できるようになります。
ここまでの3ステップでファインチューニングを実施した結果、私たちの世界を変えたChatGPTが誕生したのです。
ChatGPTは仕組みには注意点がある
ChatGPTを使用する上で、以下の3つの注意点があります。
- 入力された情報が学習される可能性がある
- 嘘を出力（ハルシネーション）する可能性がある
- 学習時期は最新ではない
ここまでに解説した仕組みを理解すると、上記の注意点がなぜ起こるのか理解できるでしょう。
入力された情報が学習される可能性がある
ChatGPTはインターネットの情報で学習を行っているため、会話した内容がChatGPTの学習に利用される可能性があります。
ChatGPTの学習に使われると、全世界のユーザーがその情報にアクセスできる可能性が生まれます。
そのため、ChatGPTを利用する際は、機密情報や個人情報は入力しないようにしましょう。
ChatGPTの設定で、学習にデータを使用されないようにできます（下画像参照）。しかし、絶対使用されないとは限らないため、できるだけ機密・個人情報は入力しないようにしましょう。
嘘を出力（ハルシネーション）する可能性がある
ChatGPTをはじめとする生成AIでもっとも懸念されるのは、嘘を出力すること（ハルシネーション）です。
ChatGPTはインターネットが学習源であるため、嘘も学んでしまっています。
ファインチューニングである程度の嘘を除去できるとはいえ、完全ではありません。
特に正確な情報が必要な業務でChatGPTを使用する際は、出力された情報が正しいのかしっかりと確認するようにしましょう。
学習時期は最新ではない
ChatGPTが出力するデータは最新ではありません。
ChatGPTの学習は常に実施されているわけではなく、定期的にアップデートされる程度です。
2023年12月現在の最終学習日は、無料版のChatGPT（GPT3.5）で2022年1月、有料版（GPT4）で2023年4月です。
つまり、今のChatGPTはTwitterがXになったことを知らないのです。
そのため、ChatGPTを使用する際は、データの情報が古くないか確認することが重要です（有料版はネット検索で対応できる場合があります）。
ChatGPTのモデルには2種類ある
2023年12月現在、ChatGPTには2種類のモデルがあります。
2種類のモデルの特徴は、以下のとおりです。
| モデル | 解説 |
|---|---|
| GPT3.5 | 無料で使用できるが、ChatGPTの優秀さは十分体感できる。 |
| GPT4 | 有料（月20ドル）で使用できる。基本的なチャットのほか、ネット検索や画像生成など、多様な機能を使用できる。 |
GPT3.5は無料で利用できるため「ChatGPTの使い勝手を体験してみたい」という方におすすめです。
GPT4はGPT3.5よりも性能がアップし、ネット検索や画像生成などの機能が追加されています。
「AIの力で業務効率を爆発させたい！」と考えている方は、GPT4を使うと月20ドルは余裕で元を取れるでしょう。
GPT4に関しては、以下の記事で詳しく解説しているため、利用を検討している方は参考にしてみてください。
https://gptprof.site/gpt4/ChatGPTの仕組みは今後は常識になるかも？今のうちに理解しておこう！
ChatGPTにはGPTの「T」の部分、Transformerと呼ばれる技術が用いられています。
文章全体の単語同士の関係性を正確に把握し、自然な文章を出力できるのがTransformerであり、ChatGPTなのです。
ChatGPTの仕組みはまだあまり知られていませんが、将来的には常識になるのではないでしょうか。
AIの力で生産性をアップさせたいと考えている方は、今のうちに知っておけば周りと差をつけられるでしょう。
ぜひ本記事を何度も見直して、ChatGPTの仕組みを理解してみてください。
