解任騒動が示した｢オープンAIとMSの相互依存｣ スピードを支えるのは人員と｢サーバー｣だが…

これらの背景には2つの要素がある。

1つは優秀な人員を多数抱えており、研究と開発までの距離が近いこと。

OpenAIの社員数は約770名とされているが、世界的な注目を集める企業としては「まだ」コンパクトであり、ほとんどが研究開発に従事していると思われる。

今回の騒動では社員のほとんどにあたる700名以上が、アルトマン氏らの復帰を求める署名にサインしており、求心力の強さは明白だ。社員の一斉離反もしくは作業停滞が起きれば、OpenAIには大きな打撃になっただろう。

支えるのは「人員」と「サーバー」だが…

もう1つは「サーバー」だ。

LLMの学習には高速なサーバーが必須だ。特にGPTシリーズのように規模の大きなLLMの場合には、現在ならばNVIDIA製の高速なGPUを数千台単位で用意する必要がある。

LLMの規模は「パラメータ数」で表されるが、一般論として、パラメータ数が大きい、規模の大きなLLMほど賢いものになりやすい。一方でパラメータ数が大きなLLMは、開発のための「学習」にも、日常的に使うために必要な「推論」にも、高速な演算が必要になり、GPUを使った大規模なサーバーが必須になっていく。

GPT-4は正確なパラメータ数が公開されていないので必要なサーバー量やその電力消費も不明だが、GPT-3については1750億パラメータとされており、1回の学習には1時間あたり約1300メガワットの電力を必要とする。これはほぼ、原発1基分（毎時約1000メガワット）に相当する。

GPT-3がどれだけの電力を消費するか、NTTが示した資料（画像：NTT会見資料より）

GPUは取り合いの状況であり、サーバーを用意するだけでも大変な状況だ。それを運用できる電力と保守の能力を持った設備を持つ企業は限られている。

例えばソフトバンクは3500億パラメータ規模のLLMを作るためのデータセンター構築に約200億円を投じている。

一方でNTTはソフトバンクやOpenAIとは異なり、自社開発のLLM「tsuzumi」を用途限定・日本語特化でコンパクトなものにした。パラメータ数を70億規模に抑えることで、学習にかかる機材コストをGPT-3の25分の1に圧縮している。