ある日突然｢サービス遮断｣､クラウドの落とし穴 解決に2カ月､AI自動審査が思わぬネックに？

この法律に対応するため、アップルはiCloudに預けられた写真にCSAMが存在しないかをスキャンする機能を開発して話題となった。グーグルは同社のストレージやGmailなどで扱う写真が不適切と判断した場合、予告なくアカウントを凍結することがある。CSAMをサーバーにアップロードしたと判断した場合、無条件でアカウントを凍結するのは、アメリカに拠点を置くすべてのプラットフォームに共通したものと想定すべきだろう。

サポート部門からの応答がなかったのは、明らかにCSAMに違反するコンテンツを取り扱っていたからにほかならなかった。

では教授がCSAMコンテンツを収集、あるいは製作していたのかと言えばそうではない。問題となったのは、彼が大学で関わっていた研究資料の中に含まれていた、半世紀以上前に撮影された日本映画作品だった。

この映像は子どもたちによる大人社会への反乱をスキャンダラスな表現で描いたもので、子どもが無邪気に動物虐待や人種差別、レイプなどを含む強い性的表現を演じるシーンがある。過激表現を含む芸術作品として知られているが、現代的には極めて不適切な表現が多く、CSAMと判断されることは想像に難くない。

コンテンツ内容はAIが日常的に審査

通信内容や保存された文書を監視することはプライバシー保護の観点から適切ではないが、ご存じの通り昨今は属人的な監視を行わずとも、AIによってコンテンツの内容を判別可能だ。現在ではクラウドサービス事業者を含めた多くのプラットフォーマーが、AIを活用したコンテンツ内容のチェックを日常的に行っている。前述したように、CSAMにおいては通信品位法による免責を受けられない可能性もあるためだ。

実際にアメリカでは、ドクターにリモート診断を依頼するため、上半身をはだけた自分の子どもの写真をGmailで送ったところ、CSAMに該当するとAIが誤審してアカウント停止となった事例などが報道されている。

この教授のケースにおいても、AIによる審査で前述の映像がCSAMに該当すると判別され、アカウント停止となったことは間違いないだろう。

むろん、ユーザーはそれがCSAMではないと申し立てることもできるが、日本語の“過激芸術作品”への理解をアメリカ本社の法務部門に求めるハードルは高い。このことが、今回のケースでは復旧の遅れへとつながったことは否定できない。