AIから差別はなくせるか？ 25年前に無意識に偏見AIを作ってしまった男の話

自分の失敗を人に伝え、そこから誰かが何か学べればと考える人は少なくありません。

ディッキンソン大学でコンピューターサイエンスを教えるJohn MacCormick教授もその1人。彼が伝えたいのは、25年前に意図せず作ってしまった偏見に満ちたAIアルゴリズムという体験談。

以下、ディッキンソン大学コンピューターサイエンス教授John MacCormick氏のThe Conversationへの寄稿文（CCライセンス）を翻訳しました。

1998年、私は人種に偏った人工知能アルゴリズムを意図せず作ってしまいました。私のこの経験は現代社会に強く警鐘を鳴らすことができるという思いから、それをここに共有します。

AIアルゴリズムにおける偏見や誤ちのリスクは、今日では当然のこととして認識されています。それなのに、なぜここ数ヶ月でテック企業によるこの手の失敗が、特にAIチャットbotや画像生成プラットフォームで続出しているのでしょう。

ChatGPTの初期バージョンは人種差別的発言をし、DALL-E 2やStable Diffusionは生成する画像で人種の偏りがみられました。

AIの偏見という意識が、白人男性のコンピューター科学者である私に突き刺さったのは、2021年のある授業中でした。

授業で、AI研究者でありアーティスト、自身をコードの詩人と称するジョイ・ブォロムウィニの詩的動画をみたことがきっかけでした。

彼女の2019年の作品｢AI, Ain’t I a Woman?｣は、Google（グーグル）やMicrosoft（マイクロソフト）などの企業が開発した自動顔認証シスステムが、いかに人種と性別の偏見にあふれているかを暴露した3分間の衝撃的な映像です。

顔認証システムは、有色人種の女性を男性と認識し、うまく機能しないことが多々あります。

なかには、その認識ミスの程度が著しくひどいものもあり、たとえば黒人女性活動家のアイダ・B・ウェルズを｢アライグマ帽｣と認識したり、また別の黒人女性は｢セイウチのヒゲ｣とすることもありました。

時代が変わっても残るAI偏見

ブォロムウィニの作品を見て、私が感じたデジャブ。私も人種的偏見に満ちたアルゴリズムを作ったことがあることを思い出したのです。

まだ博士課程の学生だった1998年、私のプロジェクトで、ビデオカメラで撮影した人の頭の動きをトラッキングするというものがありました。

指導教員が、特定状況での頭の動きを的確に追うという数学的技術を開発しており、私のプロジェクトはこのシステムの速度と安定性向上を目指したものでした。

1990年代初期、研究室ではリアルタイムで画像から肌の色の部分を読むことができることに騒いでいた時代で、ゆえに、頭の動きのトラッキングには肌の色を追加キューとして使うことにフォーカスしました。

当時はまだ比較的珍しかったデジタルカメラを使い、自分の手と顔を撮影。その他、教室にいた数人も撮影しました。

画像から手作業で肌の色のピクセルを抜くのは簡単なので、そこからスキンカラーの数学的モデルを作り、パワーアップした頭のトラッキングシステムが完成しました。

ある日、とある企業の役員がトラッキングシステムの見学にくるので、デモをするよう教授から言われました。

部屋に入った瞬間、不安になったことを覚えています。やってきた役員は日本人だったのです。モデルには私とあのとき教室にいた友人たちのスキンカラー、つまり100％白人の肌のサンプルしか入っていません。

奇跡的に、このときのデモはうまくいきましたが、これが自分がいかに無意識で人種的偏りがあるシステムを作っていたか、非白人では簡単に作動しなくなるシステムを作っていたかを思い知った出来事となりました。

特権と優先

高レベルの教育をうけ善意あふれた科学者が、なぜ偏見AIシステムを作ってしまうのでしょう。社会学理論を借りれば、特権意識が理由にあるのかもしれません。

私が、頭のトラッキングシステムを作るよりまだ10年ほど前、学者のPeggy McIntoshが白人がもつ目に見えないリュックというアイデアを提唱しています。

このリュックの中には、たとえば｢困難な状況に陥っても、人種を引き合いにださずに乗り越えることができる｣｢文化的なよそ者と見られずに、政府や政策を批判することができる｣という気持ちが詰まっています。

AI時代の今、このリュックには｢人種のせいでAIシステムの結果が不適切になることはない｣という新たな荷物が追加されたようです。白人科学者のリュックには、きっと｢私の見た目をベースにAIシステムを開発でき、ユーザーの大部分には機能することがわかっている｣という荷物がはいっているのでしょう。

白人特権主義への対抗策としてできることの1つは、積極的かつ意識的に人種差別に反対することです。私の1998年頭トラッキングシステムで言えば、すべての肌の色を平等に扱うことがこれに当たったでしょう。

システムのトレーニングデータには、可能な限りすべての肌の色を平等に表現すべきであり、それは可能であるはずです。

とはいえ、残念なことに、システムがすべての肌の色を平等に扱うことは保証されません。システムはあらゆる色を肌色かそうでないかに分類する必要があり、その分類線のちょうど境目にも色は存在します。

これを、コンピューター科学者は決定境界とよび、肌の色がこのラインを超えてしまうと、正しく分類されなくなってしまうのです。

さらに、マシンラーニングに多様性を取り入れるとき、科学者は潜在的問題に直面します。多様でインクルーシブなモデルは、非多様性モデルよりも性能が悪いのです。

これを簡単な例で説明しましょう。たとえば、一種類の木（ニレ）を識別する作業Aと5種類の木（ニレも含む）を識別する作業Bがあるとします。両作業の講習時間が同じ場合、ニレの識別は作業Aの方がうまくいくと思いませんか。

これと同じで、白人の肌の色だけのシステムの方が、多様な肌の色を含むものよりも正確な分類ができるのです。多様性や公平性をどれだけ理解していても、科学者というのはつい正確性を優先してしまうことがあるのです。

数字の裏にあるもの

若かりし自分が作ったアルゴリズムは、考えが足りず、悪意あるものになりえたかもしれません。ただ、より問題視すべきはAIシステムの奥の奥にこの偏見が潜んでいるかもしれないということ。

これを理解するには、まずは3列×4列で並んだ12個の数字を想像してみてください。この数字に人種差別を感じますか？ 感じませんよね。

でも、1998年の私のアルゴリズムもこんな数字の並びなんです。数字は肌の色のモデルを表現しますが、この数字を見てこれが人種差別になると認識するのは非常に困難です。

数字はただの数字であり、プログラムを自動化するのに必要なものにしか見えないからです。

現代のマシンラーニングシステムにおいて、目の前にあるものの中に偏見が隠れている問題はさらに深刻化しています。

ディープニューラルネットワークは何百万という数字を持ち入りますが、この数字の間に偏見が隠されているとしたら、それは膨大な偏見となります。

ちなみに、前述の｢AI, Ain’t I a Woman?｣で批判された顔認証システムは、すべてディープニューラルネットワークです。

膨大な数字を前に悲観的な気持ちにもなりますが、明るい話としてはすでにAIの公平さに関する取り組みは、教育分野でも産業分野でも進歩してきているということです。

Microsoftは、公平、責任、透明性、倫理に特化したFATE（Fairness, Accountability, Transparency and Ethics in AI）という組織を立ち上げています。

マシンラーニングのカンファレンスNeurIPSは、論文提出者は考慮すべき社会的悪影響を8つあげるなど、倫理的ガイドラインを設けています。

この分野に携わる人に偏りがあるのが現実

AIシステムにおける偏見をなくす努力がある一方で、教育・産業における競争意識のプレッシャーから、公平性が犠牲となることは2023年の今ですら大いにあります。

GoogleとMicrosoftのBard vs Bingチャットボットは、まさにこれの最たる例です。シェア拡大という商業的必要性を優先したことで、システムの早期リリースに繋がりました。

現代のシステムも、1998年の私のシステムと全く同じ問題を抱えています。つまり、トレーニングデータが偏っているということ。すべてのカテゴリを平等に扱うのは数学的に不可能だという問題に直面してしまうのです。

公平さのためには正確性を引き換えにせねばなりません。何百万という数値パラメータの奥には偏見が隠れているからです。

私が偏見あふれるアルゴリズムを意図せずに作り、さらにはそれを発表できてしまったあの頃から25年。その間にAI分野はどれほど発展したのでしょうか。

偏見あるAIがいまだに意識せず、また安易に作られてしまっているのは明白です。同時に、その偏見は有害であり、さらに排除が難しいということも明らかです。

今、教育や産業グループがアルゴリズムを作成する上で多様性が必要だと叫ぶのは、すでに耳にタコな当たり前のこと。

一方、現実には北米のコンピューター科学における博士課程プログラムを卒業する人のうち、女性は23％、黒人+ラティーノはたったの3％です。

ここにいるみんなのためにアルゴリズムをデザインしようといくら言ったところで、その場所自体に偏りがある以上、その場にいない人々が過小評価されてしまう現実は続いてしまうでしょう。

その部屋にいた人からサンプルをとった。1998年の私の過ちがまさにこれであり、だからこそ今日のAI研究において大きな教訓となると思ったのです。

あまりに安易なミスであり、意識せず偏見をうむことになります。だからこそ、そこにいる人はそれが起きないようにする責任も持つべきなのです。