遠隔診断のため息子の裸の写真を送信→変態パパ扱いでGoogleアカBANに

  • 7,019

  • author satomi
  • Twitter
  • Facebook
  • LINE
  • はてな
  • クリップボードにコピー
  • ×
  • …
遠隔診断のため息子の裸の写真を送信→変態パパ扱いでGoogleアカBANに
Image: Google|写真はAndroidスマホで撮ってGoogleフォトに同期、スマホキャリアはGoogle Fi、メールはGmailだっただけに被害は甚大
Amazonブラックフライデーセール開催中!<いますぐ会場へ>

疑わしきは罰する…。

「さよならGAFAMシリーズでおなじみのKashmir Hill記者が、タイトルのような誤認の悲劇に見舞われたパパたちを取材してNY Timesにレポートし大反響を呼んでいます。

Hill記者はビッグテックのプライバシー問題の報道にかけては第一人者。今回、注目したのはAI監視体制で起こるフォルスポジティブ(擬陽性)の事例です。

サンフランシスコのMarkさんの場合

2021年2月の金曜夜(たぶん19日)

息子のお〇んちんが腫れ上がり、妻が病院の急患に電話して、土曜の朝イチでビデオ通話診断(週末だしコロナで通院は制限されていた)のアポをとる。医師があらかじめ診ておくので患部の写真を送るよう看護師に言われ、妻がMarkさんのAndroidスマホで高解像度フォトを何枚か撮って、病院のメッセージシステムに送れるよう自身のiPhoneにSMS送信してアップロード。送った写真の1枚には、腫れがよく見えるよう支えていたMarkさんの手も映っていた。抗生物質で、腫れはすぐ引ける。

撮影の2日後、突如Googleアカウントが消える

Markさんのスマホがビービー鳴ってGoogleアカウント無効化の警告が入る。理由は「Google規約の甚大な違反および 違法行為の疑い」。何事かと思って詳細リンクを開いたら、一般的な理由の一覧に「児童の性的虐待と搾取」という文字もあり、それを見てやっと診断のときの画像が機械に間違われたのだと悟る。

審査リクエスト

通報された動画コンテンツの自動削除ツールを大手IT企業で手掛けた経験もあるソフトウェアエンジニアのMarkさんは、機械による誤認はよくあることだし、起こったときには人力で是正されるのが普通だと最初は軽く考え、審査リクエストのフォームに必要事項を記入して提出した。

影響

・Gmailに保存した友だちや元同僚の連絡先が見れなくなる。

・Google Fiにも加入していたので、スマホも別のキャリアで新しい電話番号を取得しないといけない。

・電話番号とメールアドレスでセキュリティコードが受け取れないので、Google以外のネットアカウントにログインできない。



Googleは「児童性的虐待のコンテンツは忌まわしいものであり、われわれは当社プラットフォーム上での拡散予防に全力を尽くしています」と述べるばかり。

数日後、異議申し立て

何日か置いて異議申し立てしたが、アカウント回復には応じられないとの回答。理由の説明は一切なし。

2021年12月

サンフランシスコ市警から「捜査の結果、無実と判断しました」と封書が郵便で届く(メールも電話もつながらないのでこれしか連絡方法がない)。中にはGoogleとISPへのデータ開示を求める令状も同封されていた。ここで初めて、写真撮影から1週間も経たないうちに捜査がはじまり、過去の位置情報、検索履歴、メッセージ、文書、写真、動画のすべてが署に提出されていた事実を知る。

署からの無罪放免の通知を添えて再度異議申し立て。

警察からGoogleに措置の撤回をお願いすることはできないというので、しょうがなくMarkさんは再度異議申し立てをしたが、今にいたるまでアカウントの回復にはいたっていない。

テキサスのCassioさんの場合

2021年2月20日(土)~21日(日)

小児科医の指導に従い、息子の”秘部”のただれたところをAndroidスマホで写真に撮って送り、日ごとの経過を報告。撮った写真はGoogleフォトに自動で同期されていた。妻に送信するときにはGoogleのチャットを使用。

22日(月)、突如Googleアカウントが消える

アカウントにアクセスできなくなり、こんな警告メッセージが表示される。

このアカウントはGoogleポリシーに違反する行為に使われていたようです。詳細

これが間違いと思われる場合は、審査のリクエストを送信してアカウントの復元をお試しください。

審査リクエストするも却下される

審査リクエストを送信したが、Googleからはにべもなく断られる

リクエストを審査させていただきましたが、残念ながら、お客様のアカウントは弊社の利用規約に違反する行為に使われたため、復元することはできかねます。

ポリシーならびに当社プロダクトでポリシー違反が確認された場合の措置の詳細については、利用規約をご参照ください。

よろしくお願いします。

Googleチーム

影響

・大学時代からのメール、10年以上のデータがすべて消える(アカウントが使えないのでダウンロードのリンクも使えない)。

・銀行、ブローカー、病院、買い物サイト、ローン、航空会社など、すべての登録メールアドレスを死にそうになりながら変更。

・住宅購入手続き中のメールアドレス変更だったのでローン会社に疑いの目を向けられてしまう。

・Googleの対応はすべて自動処理で、人間には一度も相談できなかった。

2021年秋

ヒューストン市警から電話がきて署に出頭。事情を話すとすぐ釈放となる。Googleウェブサービス有料カスタマーなのに未だにアカウントは回復できず、Hotmailを使って周囲に笑われる日々

どんなツールが使われているの?

ちなみに児童ポルノ検出では次のようなツールが使われています。

PhotoDNA:Microsoftがダードマス大と共同開発して2009年にリリースした、IT業界初の児童ポルノ検出ツール。過去の被害画像データベースと照合するもので、Google、Facebook、Twitterなど採用。要件を満たすNCMECなどの団体には無償で提供されている。

Content Safety API:2018年にGoogleが開発してFacebookなどにも採用されているAI活用の児童ポルノ摘発ツール。こちらは未知の被害画像の検出に役立つ。

パパ2人はスマホからGoogleのサーバに自動的にアップロードされたところでポルノと判断されたようなので、後者のツールに引っかかったものと思われます。

こちらは救済済みの被害者より優先度が高く、警察が介入すればまだレスキューが間に合うという認識なので、AIでフラグが立ってスタッフが黒と判断すると即アカウントにロックがかかってしまいます。で、過去の映像・画像・メッセージすべてが精査されるの(Markさんは朝、寝起きの妻と子どもの写真を撮ったことがあって、たまたま妻がパジャマも着てない姿だったことから、そちらでも疑われていた)。国法の定めに従って、CyberTipline、NCMECにも通報されるので、下手すると親権争いにも不利に働きます。

Googleが去年1年間に全米行方不明・被搾取児童センター(NCMEC)に通報した児童性的虐待コンテンツ(CSAM) は670万件、その結果、無効にしたアカウントは27万件以上。

全体の利益のためには個人の犠牲もやむをえない、というのもわかるんですが、記事では、米国小児科学会児童虐待ネグレクト評議会会長が「医者に言われても局部は撮っちゃだめ」と言ってて、ええええ……となりました。AIに合わせて行動を変えないと…。

Sources: NYT

AIに魂が宿ったと上司に報告したGoogle社員、有給謹慎処分に

GoogleのAIがあまりにも人間に寄せてきて、とうとう人権を主張するようになり「モノや道具扱いはいやだ、友だちとして接してほしい」と言い出し、ソフトウェアエン...

https://www.gizmodo.jp/2022/06/lamda-has-come-to-life.html