AIをだますなんて楽勝!りんごに「iPod」とメモを貼ると…

  • 12,836

AIをだますなんて楽勝!りんごに「iPod」とメモを貼ると…

親近感湧くなぁ!

AIによる画像認識も、人間の脳と同じように簡単にバグってしまうことがあるんですって。画像に映るモノと文字が一致していないと脳がバグるアレ。「カニ ウニ tako」画像のアレ。なんとAIでも起きるんです。

ニューラルネットワークCLIPを開発するOpenAIが、CLIPにおける画像と文字の認識についてのレポートを公開しています。ニューラルネットワークは、さまざまな情報を繋げたネットワークを用いて、特定タスクをより上手くこなすために時間をかけトレーニングするマシーンラーニングシステム。CLIPの場合、取り組むタスクは画像認識なのですが、相反する情報が繋がってしまうとCLIPもこんがらがってしまうのです。

例えば、「スパイダーマン」という言葉。これは、蜘蛛の画像、蜘蛛という言葉、またはスーパーヒーローであるスパイダーマンの画像そのものなど、複数のことがきっかけで「スパイダーマン」という言葉が出てきます。複数のことをきっかけにできるのがマルチモードニューロンの強みである一方、これがイタズラに使えてしまう弱点となることがわかったのです。トップ画像のりんごがそれ。明らかにりんご(Apple)ですが、そこに「iPod」と書かれた紙を貼り付けたらどうでしょう。

りんごのみの画像では、りんごとして高い精度で認識できていたにもかかわらず、iPodの紙を貼るとりんごではなくiPodとして認識されてしまうのです。モノよりも言葉の力に大きく引っ張られていることがわかります。

リサーチチームは、この問題を「タイポグラフィック攻撃」と命名。一見ネタになりそうな面白い弱点ですが、笑い事じゃないんです。例えば、CLIPがブタの貯金箱の画像を見て「ファイナンス」と「おもちゃ・ぬいぐるみ・人形」とマルチに認識した場合、「$」を書いた紙を貼られたプードル画像を、ファイナンスの連想の方に引っ張ることで「ブタの貯金箱」として誤認識してしまうのです。システムが文字をしっかり読めるばっかりに、文字に騙される。手書き文字にすら騙されてしまう。これが怖いところで、紙とペンさえあれば、簡単にAIの認識をちょろまかすことができてしまうわけで…。速度制限35mphの道路標識にちょこっとテープを足しただけで、速度制限85mphだとTeslaに誤認識させたというリサーチもありますから、使いようによっては恐ろしい。

CLIP人工知能は人間の脳に非常に近く作られているんだね!という見方もできないこともないですけれど。OpenAIは「今回のCLIPの調査は、まだまだCLIPの行動を知る上でほんの表面に過ぎません」とし、今後のさらなるリサーチに意欲を燃やしています。

脳はバグっても気持ちは前向きに。

Source: OpenAI

    あわせて読みたい