ポルノサイト「Pornhub」で、児童虐待動画を検索する数百万人をチャットボットが阻止

ポルノサイト「Pornhub」の英国版では、過去2年間で数百万人の利用者が児童虐待動画の検索を中断させられている。その間に虐待に関する語句が入力された回数は440万回に及ぶが、そのたびにこの種のコンテンツは違法であるとの警告メッセージが表示され、画面がロックされた。そのうち半数の事例で、チャットボットが何らかの支援を受けられる機関を紹介したという。

この警告メッセージとチャットボットは、英国を拠点とするふたつの児童保護団体とPornhubが共同で展開する試験的プログラムの一環として導入された。ちょっとした“介入”によって利用者の注意を引き、違法なコンテンツの検索をやめさせることは可能なのかを探ることが目的だったという。『WIRED』はこのプログラムについて分析した最新の報告書を独自に入手した。それによると、こうした警告文やチャットボットがポップアップ表示されたことで、「児童に対する性的虐待コンテンツ（CSAM）」の検索数が減少し、支援を受けて自らの行動を改めようとする人が増えたという。

“抑止メッセージ”の効果

「実際、こうした検索の累計数はぞっとするほど多いのです」と、タスマニア大学の上級講師であり、「reThink」と名付けられたこのチャットボットに対する評価作業を指揮したジョエル・スカンランは言う。2年にわたって実施された試験的プログラムの期間中、Pornhubの英国サイトでCSAM関連の検索が警告を受けた回数は440万960回に上ったという。ただし、同期間中における全検索の99%は、警告の対象とならないものだった。「介入をしたことで、不適切な検索の回数は大幅に減りました」とスカンランは言う。「つまり、こうした“抑止メッセージ”には効果があるということです」

ネット上で発見され、削除されるCSAM関連の画像や動画の数は毎年数百万点に上る。こうしたコンテンツはソーシャルメディアで共有され、個人間のチャットで交換され、闇サイトで売られるほか、合法なポルノサイトにアップロードされることもある。テック企業もポルノ関連企業も、自社のプラットフォームから違法なコンテンツを排除する対策を進めているが、効果のほどはまちまちだ。『New York Times』に掲載された不名誉な記事をきっかけに、Pornhubは児童虐待をはじめとする不適切なコンテンツを自社サイトから一掃すべく、2020年に約1,000万本の動画を削除した。

Aylo（旧MindGeek）の子会社であるPornhubは、34,000に及ぶ禁止用語を多言語に翻訳したものに、それらの言葉を数百万通りに組み合わせたフレーズを加えてリスト化している。このリストを使って児童虐待コンテンツの検索を阻止しているのだと、同社の広報担当者は説明する。Pornhubにとって、これは違法コンテンツと闘う手段のひとつであり、利用者の安全を確保する取り組みの一環だと担当者は言う。これまで何年にもわたり、Pornhubは児童の性的搾取や同意なきポルノ動画の温床と非難されてきたのだ。英国版Pornhubのサイト内でこのリストにある言葉をどれかひとつでも使って検索すると、警告メッセージとチャットボットが画面に表示される。

関連記事：世界最大のポルノサイトPornhubとの闘い（前編）：無数の削除依頼

チャットボットの設計と作成は、ネット上のCSAM撲滅を目指す非営利団体「Internet Watch Foundation（IWF）」と、児童性虐待の防止に取り組む慈善団体「Lucy Faithfull Foundation（LFF）」が担当した。警告メッセージと並んでチャットボットが表示された回数は計280万回に上ったという。今回の試験的プログラムではPornhubへのセッション数（サイト訪問回数）が集計されたため、同じ人物が何度もカウントされている可能性がある。また、個人の特定は意図されていなかった。PornhubではCSAM関連の検索数が「有意に減少」しており、チャットボットと警告メッセージは少なくとも「ある程度の」役割を果たしたと思われると報告書で結論づけている。

このチャットボットは、いくつかの質問に対し回答ボタンをクリックさせるか、文章を入力させるという比較的シンプルな仕様だった。その後、検索中のコンテンツが法に触れる恐れがあることを説明し、最終的にLFFの支援サービスを紹介するという流れだ。このチャットボットを介して詳細な情報が求められた回数は1,656回、画面をクリックしてLFFの公式サイト「Stop it now」に移動した人は490人だった。報告書によると、匿名で相談できるLFFのヘルプラインに電話やチャットで問い合わせた人は68人ほどであったという。

表示された警告メッセージの総数に比べ、いずれも「やや少なめな」数字ではあるが、助けを求める人の存在を知らせるサインだと捉えれば「大きな成果」と見ていいはずだと、「Stop it now」ヘルプラインのディレクターを務めるドナルド・フィンドレイターは言う。「サイトで怪しげな行動を続けている人たちにとって、“クリックスルー（画面をクリックして別のサイトに移動すること）”は相当な勇気を必要とする行為です」とフィンドレイターは言う。

行動を改めさせた「ナッジ」という手法

報告書によると、画面に警告メッセージやチャットボットが表示された人の大半が、その後二度と同じ行動に及んでいないという。およそ170万人が、警告を目にした後でPornhubの利用をやめたり、違法性のない別のコンテンツを検索したりするようになったという。「この人たちはどこかに消えてしまったわけではありません。サイトに居残ったまま、ほかの動画を探すようになったのです」とフィンドレイターは言う。「疑わしい検索をしていた何百万人もの人に何らかの影響を与え、結果的にそうした行為を制止できたことは大きな成果と言えるでしょう」。しかし、全員が思いとどまってくれたわけではない。“懲りない人々”の最たる例として、警告を誘発する検索を10回以上続けた利用者が400人ほどいたという。

チャットボットにはCSAMに近づこうとする人を押しとどめる効果がありそうだと、心理学を専門とするニューヨーク州立大学オルバニー校准教授のシンシア・ナジドウスキーは言う。彼女は今回の調査には関与していない。警告メッセージや、肘で軽くつつくように行動を改めさせる「ナッジ」と呼ばれる手法は、剽窃や著作権侵害から賭博行為に至るまで、ネット上の素行を改めさせる手段としてさまざまなかたちで用いられてきた。グーグルは児童虐待関連の検索を制止するメッセージを13年からいくつか使用している。その結果、そうした内容の検索数が減るとともに、閲覧や警告の回数も数百万単位で減少したことが、ほかの複数の研究によって確認されている。

ナジドウスキーによると、人々が犯罪行為に関わらないようにするためには、3つの方法が知られているという。自分のしていることが違法だと気づけること、そうした“法に関する知識”を自らの行動に当てはめられること、自分の行動によって期待した利益を超える代償を支払うことになるかもしれないと理解できることの3つだ。「特定の検索が法に触れる恐れがあることを告げるチャットボットが登場したことで、抑止プロセスの確かな一歩を踏み出すことができました。それだけでも素晴らしい成果です」とナジドウスキーは言う。とはいえ、どうしても行動を変えられない人や、複雑な事情を抱えた人を救うことは難しいかもしれない。

結果の分析を担当したタスマニア大学のスカンランによると、今回のチャットボットの試験運用には複雑な要素がいくつもあったという。Pornhub、IWF、LFFから提供されたデータは必ずしも要件を満たしておらず、警告メッセージが導入される前の数字が存在しないため、結果を比較できなかった。それでも今回の結果は、この方法がネット上でCSAMを探してしまう人々に対する幅広い啓発や抑止の取り組みの一環になりうることを示すものだとスカンランは言う。「好奇心からその種の行動に走ろうとする人がいたら、深入りしないうちに“ナッジ”してやろうと思うはずです。入り込んだら抜け出せなくなる行動だからです」とスカンランは言う。

試用期間後も稼働を継続

スカンランの分析によると、時間が経つにつれてPornhubからLFFの公式サイト「Stop it now」に移行するトラフィックの数に減少傾向が見られたという。検索を続けているうちに警告メッセージに慣れてしまう人がいたのかもしれない。ただし、ヘルプラインへの電話やメール、オンラインチャットによる接触は、試験期間中に一貫して増加傾向を示した。報告書によると、抑止効果を狙った既存の動画を引き続き使用する可能性を含め、将来的には多様な伝達手段の活用が見込まれている。また、チャットボットを通じて利用者を直接LFFヘルプラインとのライブチャット会議に誘導する計画もあるという。

チャットボット自体にも改善の余地がありそうだ。チャットボットが考案され、世に出た初期のころから見ると、人々の意識は変わってきていると、IWFの最高技術責任者（CTO）であるダン・セクストンは言う。チャットボットとは何か、人間とどんなやり取りをするのかといったことに対する認識が、生成AIの登場によって変化しているというのだ。Pornhubのチャットボット「reThink」が答えられる質問の種類には限りがあった。何らかの方法でチャットボットをもっと親しみやすい仕様に変え、想定外の質問にも対応できるようにすることは可能だろうとセクストンは言う。

試験運用期間は終了したが、Pornhubの英国サイトには依然としてチャットボットと警告メッセージの機能が備わっている。「停止の予定はなく、現在も稼働しています。始まりは試験的プロジェクトでしたが、いまも効果的に運用できています」とセクストンは言う。今回の調査の関係者たちは、同業のほかの企業も同様のナッジ効果を自社のサービス全般に取り入れ、児童虐待コンテンツの検索を抑止できるはずだと口を揃える。「すべての企業がそうするべきであり、これを標準仕様にしていくべきです」とスカンランは言う。「今回の報告書と、ここで使われている技術によって、有害かつ違法なコンテンツの特定、削除、報告の仕組みは飛躍的に改善されました」とPornhubの広報担当者は言う。「すべての人にとって安全なインターネット環境を築くため、ほかのあらゆる大手テック企業とソーシャルメディア運営企業が、同様の抑止技術の導入を検討すべきだと思っています」

「Stop it now」ヘルプラインのフィンドレイターも、ほかのソーシャルメディアサイトやファイル共有プラットフォームなどの企業が今回の試験プログラムの成果に注目し、CSAMを探す人たちがいる場所に同様のナッジ手法を導入してくれることを願っている。「多くの場所に導入することで、まだ救える段階にあるかもしれない人や、助けを求めながらも情報を得られずにいる人を見つけやすくなるはずです」とセクストンは言う。

（Originally published on wired.com/Translation by Mitsuko Saeki/Edit by Mamiko Nakano）

※『WIRED』による子どもの関連記事はこちら。

世界最大のポルノサイト「Pornhub」は、チャットボットの導入で“児童ポルノ撲滅”を目指す

世界最大のポルノサイト「Pornhub」の英国版で、児童ポルノの検索を妨げてユーザーを支援へと誘導するチャットボットが導入された。その有効性がポルノサイトで認識されたら、SNSやゲームプラットフォームにも応用されるかもしれない。

児童への性的虐待コンテンツを撲滅せよ──年10万件超を削除する人々の終わりなき戦い

アイデアとイノベーションの源泉であり、常に未来を実装するメディアである『WIRED』のエッセンスが詰まった年末恒例の「THE WORLD IN」シリーズ。加速し続けるAIの能力がわたしたちのカルチャーやビジネス、セキュリティから政治まで広範に及ぼすインパクトのゆくえを探るほか、環境危機に対峙するテクノロジーの現在地、サイエンスや医療でいよいよ訪れる注目のブレイクスルーなど、全10分野にわたり、2024年の最重要パラダイムを読み解く総力特集。詳細はこちら。