このように性能が落ちるGPUを多数使って、安くAIを作ることができた理由は開発手法の違いにある。
DeepSeekは「MoE（Mixture of Experts：専門家の集合）」と呼ばれる特殊な手法を採用している。これはLLMのようなAIモデルの全体を使うのではなく、必要に応じて特定のタスク（仕事）に最適化された「専門家（エキスパート）」と呼ばれる部分モデルだけを動かす仕組みだ。このようにしてAIモデルを効率化することで、開発コストを抑えながら性能を向上させることができるという。
ほかにも、DeepSeekは「Knowledge Distillation（知識蒸留）」と呼ばれる手法を採用することで開発コストを抑えている。これはOpenAIのGPT-4oなど同業他社の大規模言語モデルを言わば「教師役」として使い、その膨大な知識やパラメーター（AIの基本的性能を決める変数）をDeepSeekのような「生徒役」が直に受け継ぐことによって、より高速かつ効率的にAI製品を開発する手法だ。
東大入試の数学問題を解かせてみたら…
これらの創意工夫によって開発されたチャットボット「DeepSeek」（社名と製品名が同じ）は昨年12月と今月、それぞれ汎用型の「V3」と推論型の「R1」という個別のバージョン名でリリースされたが間もなく一体化された。この統合版DeepSeekの入出力画面はOpenAIのChatGPTとよく似ている。
DeepSeekの推論型モデルR1は、ChatGPTの推論型モデル「o1」とほぼ同等の高い思考力を持つと言われる。試しに筆者が2024年度の東京大学・入試問題・数学理系の第2問（図2）をDeepSeekに入力して解かせたところ見事に正解を返した（図3）。
ただし同入試問題の全6問（各々、複数の小問を含む）をDeepSeekに解かせてみると、全体の正解率は30％を若干下回る。ちなみにChatGPTの「o1」にもまったく同じ問題を解かせてみたが、正解率は概ね30％だ。両者の性能は同程度とする見方は当たらずとも遠からずという印象を受ける。
無料会員登録はこちら
ログインはこちら