- 技術情報
ChatGPTとベクストの試みを紹介します
ChatGPTは公開されてわずか５日間で100万の利用者数を獲得することが出来ました。これに比べて、iPhoneは74日間、Facebookは10ヵ月かかっています [1]。1950年に提案されたチューリング・テストもクリアされた[2]ことから、ChatGPTの影響力は無視できるものではなく、iPhoneやFacebookを超えるものだと、筆者は考えています。
弊社は、長年に自然言語処理の研究開発を行っています。この分野でこのようなシンギュラリティが実ったことを嬉しく思います。そのため、ChatGPTの調査活動やChatGPTを使った新機能開発の試みをいち早く始めているので、本日ご紹介いたします。
ほかの言語モデルとの違いは？
GPTというモデルは、これまでGPT-1からGPT-3までのバージョンが公開されました※。ChatGPTは、GPT-3をベースとして、チャットサービスに特化した言語モデルです。通常のGPTは、自己教師あり学習のみを使っているのに対し、ChatGPTは人間の評価による強化学習を加えています。ChatGPTが生成した会話文を訓練者が評価しながら学習させることで、ChatGPTの話し方を人間の話し方に近づけることができました。
また、2018年にGoogleに公開されたBERTも、非常に有名な言語モデルで、様々な派生版があります。ChatGPTとの違いをざっくりと言うと、BERTは文書理解に特化したもので、ChatGPTとGPTは文書（会話）生成に特化しています。どちらが優れているかは、利用者の目的やニーズによるもので、一概には言えません。
※GPT-4は、2023年3月14日に公開されました。
ChatGPTを構築したい場合の課題は？
ChatGPTはAPIを経由して使うことができますが、セキュリティーを懸念してAPIを利用できない場合は、自社で構築することも可能ですが、恐らく以下の課題に直面するだろうと思います。
１つ目の課題は、計算力です。ChatGPTは1760億のパラメータを持っています。このパラメータ数は精度を担保するものと理解しても良いです。これほどのパラメータ数をもつモデルを訓練するには、膨大な計算力が必要です。OpenAIは訓練用のGPUの数を公開していないが、1万個のNvidiaのGPUを使っているという推測があります。[3]
２つ目の課題は、言語モデルの選定です。ChatGPTが使っているGPT-3はオープンソースに公開されていないので、ほかの代替モデルを使わなければなりません。GPT-J [4]やGPT-NeoX [5]のようなモデルは、Apache-2.0のライセンスなので使いやすいが、パラメータ数はGPT-3より少なく、同等の精度が出せない可能性があります。Bloom [6]は、GPT-3と同等のパラメータ数を持っているが、ライセンス上に様々な制約があるようです。
自社でChatGPTを構築したい場合は、言語モデルの訓練に必要な計算力や文章生成の精度、ライセンス上の使いやすさなどを考慮し、バランスを取らなければならないと思います。
まとめ
弊社は毎年、ハッカソンを開催しています。2022年12月のハッカソンでは、「Vext知識＋（プラス）」にChatGPT関連の技術を活用した新機能のプロトタイピングの実績もありました※。Vext知識＋は2021年にリリースした弊社の新製品で、シナリオやFAQといった知識を生成することができます。今後も様々な最先端技術を活用した新機能の開発を積極的に行っていきたいと思います。Vext知識＋に興味がある方は、ぜひ弊社までお問い合わせください。
※ChatGPTを活用した新機能のリリース予定は未定となりますのでご注意ください。
引用元：
