他社製使い性能向上…AIの｢蒸留｣は悪か？ 中国勢にアメリカ政府は制裁警告 シリコンバレー企業はオープンソース支持

このAI検索開発者はまた、蒸留とは学生モデルが教師モデルを超えることはできず、学習の上限は教師モデルにあると指摘している。これは蒸留が学術界で長年批判されてきた理由でもある。なぜなら、真の新規知識や新たな能力を学ぶことができないからである。

抽出データの利用は「アウト」だが…

元グーグルのディープマインドの研究員で、かつてアンソロピックに在籍していた姚順宇氏は、最近行われたジャーナリスト張小珺氏との対談で、「蒸留」は業界では暗黙の了解となっている手法だとした上で、その手法には二つの異なる形態があると説明。一つは「ハード蒸留」と呼ばれるもので、アンソロピックの「クロード」のような大規模言語モデルからデータを取得し、そのデータを用いて自社モデルを直接学習させる手法だ。姚氏は、この方法は商業倫理上の問題があり、一種の模倣・盗用に当たるとの認識を示した。

本記事は「財新」の提供記事です。この連載の一覧はこちら

もう一つの「蒸留」は、自社モデルの学習過程で他社モデルを補助的に活用する方法。例えば、他社モデルに自社モデルの生成内容を評価させたり、自社モデルに他社モデルの優れた特性を学習させたりする手法がこれに当たる。姚氏は、この種の「蒸留」は商業的には依然としてグレーゾーンに位置付けられているとの見方を示した。

Kimi K3が「蒸留」を行ったかどうかにかかわらず、「蒸留」という言葉そのものの定義は、技術的な議論から社会的・国際的な議論へと昇華している。前述の垂直分野の大規模モデル開発者が財新に指摘したように、蒸留自体は中立的な技術的課題であり、社会や国家の間の競争の中で追加的な意味が与えられているにすぎない。この言葉自体が汚名化されるべきではない。

（財新記者：杜知航）
※中国語原文の配信は7月24日