「精度85%」は、失敗ではない
仮に、ある製造業の企業が外観検査のAI化に取り組んでいるとします。目標としていたのは95%の精度でした。ところが実際にAIモデルを作ってみると、現時点では85%にとどまってしまいます。
このとき議論は、単純なものに陥りがちです。さらに開発を続けるか、あるいはこのプロジェクトを失敗と見なしてやめるか。この2択です。しかし、ここから議論が始まると考えるべきです。
まず見るべきは、85%という数字の内訳です。その85%は、どの対象に対しても均一なのでしょうか。それとも、ある条件では95%近く出ているのに、別の条件では70%台なのでしょうか。どの不良パターンに強く、どのパターンに弱いのか。平均値だけを見ていては、実務に必要な情報は見えてきません。
次に、その精度を前提にした業務プロセスを検討します。特定の判定領域で十分に高い精度が出ているなら、その領域はAIに任せられます。精度が出ない領域については人間が確認する必要があります。それを考慮すると、AIの信頼度が高いケースは自動で通し、信頼度が低いケースだけを人にエスカレーションするやり方が考えられます。
その結果、「精度85%のAIモデル」は、「全体の処理量のうち7割をAIがさばき、残り3割を人が重点的に確認するプロセス」として読み替えられます。95%という技術的な精度目標に固執せず、今の精度ならどんな業務プロセスが成立するかを考える。ここが分岐点です。



※ログイン後、コメント入力が可能です。