無限に続くひとり相撲のはじまり。
今話題のテキスト生成ツール“ChatGPT”。人間が作った文章と区別がつかず、｢コピペどころじゃない！｣と学校現場などで警戒されていますが、ChatGPTを生み出した会社、OpenAIが｢AIが書いた文章を見破るツール｣をリリース。でも残念ながら、性能はあまり良くないようです。
同社がリリースしたウェブベースのAI検出ツール（無料）。このツールは、対象のテキストについて｢AIが書いた可能性が高い｣｢AIが書いた可能性がある｣｢不明｣｢AIが書いた可能性は低い｣｢AIが書いた可能性は極めて低い｣の5段階で評価します。
テキスト生成ツールとAI検出ツールのどっちも出すなんて、OpenAI無敵やん…なんて思ってしまいますが、同社が独自に行ったテストでは、どうも検出ツールのほうはまだまだ性能がイマイチだそう。
AIが生成したテキストを｢AIが書いた可能性が高い｣と正しく認識できたのは、全体わずか4分の1程度らしく、同社のブログ記事によると、10回に1回は人間が書いた文章を｢コンピュータが書いたもの｣と誤検出してしまったんだとか。
それでも以前よりはかなり性能が上がっているそうで、ハイテク系スタートアップのOpenAIは｢さらなる改善が必要｣と認めています。
自らが作ったテキスト生成ツールがあまりにも優秀で、生みの親さえもなかなか見破れないってことでしょうか。
ChatGPT問題を一挙解決？→まだ無理
OpenAIは、ChatGPTが学校やニュース制作現場なので波紋を呼び、不正行為やフェイクニュース発信、著作権侵害への懸念を煽ったことも認めています。
これを受けて｢ならば我々が何とかいたしましょう！｣というのが同社のスタンス。
｢教育現場では”AIが書いたテキストをいかにして見破るか”が重要な論点になっています。AIテキスト検出ツールがどこまで使えて、どんなインパクトを持つか認識することも大事です。
このリソースは教育関係者に焦点を当てていますが、当社の検出器や関連ツールはジャーナリスト、フェイクニュースの研究者などにも影響力があると期待しています｣
とブログに投稿しています。
そんな検出ツールですが、今のままではAIを使った剽窃（盗作）、学歴詐称、誤情報の流布への懸念を払しょくできるほど正確ではありません。
｢当社の検出ツールはまだ完全に信頼できるものではありません｣とOpenAIは自らを評価。｢主要な意思決定ツールとして使用すべきではありません｣とも。
つまり、ニュース記事や学生の課題を検出ツールにかけても、｢AIかもしれないし、人間かもしれない｣なんて曖昧な回答になってしまうということです。
検出ツールを実際に使ってみた
米ギズモードでは実際にこのツールを使ってみましたが、驚くような結果は得られませんでした。たとえば私がChatGPTで生成したフェイクニュースについては、｢AIが書いた可能性がある｣というなんとも生ぬるい回答に。
ChatGPTが自分自身について書いた記事でも、同じ結果が出てきました。
｢AIの支援｣を受けた生成されたCNETの記事についても、｢AIが書いた可能性は低い｣と評価。
ちなみに、最近公開された米ギズモードの記事で10回試したところ、すべて｢AIで書いた可能性は極めて低い｣と、こちらは正しく診断してくれました。
OpenAIは、｢誤検出率（人間が書いたのにAIだと判断する率）を低く保つ｣ためにあえて基準値を調整した、と話しています。とすると、それがうまく機能しているのかもしれません。それでも10回に1回は誤検出するわけですから、ちょっと多すぎる気もします。
まだまだ発展の余地あり
他にも課題はあり、まだ英語にしか対応していない点やAIが書いたテキストでもちょこっと編集すれば検出ツールを騙せてしまう点、ある程度長文でないと正確な診断結果が得られない点など、ChatGPTに太刀打ちできるようになるにはまだ改善点が多そうです。
ただ、理論的には｢AI検出分類器は使えば使うほど良くなる｣はず。
それはこのツール自体がAIベースで、同じトピックについてAIが生成したテキストと人間が書いたテキストをペアで学習させた言語モデルだから。
不完全な状態の犬種ツールを一般公開してフィードバックを得ることで｢将来的にはさらに改善されたメソッドを共有する｣というのがOpenAIの狙いなのです。
米ギズモードはOpenAIに対し、この新ツールについて質問をしましたが、｢ブログ記事をご参照ください｣と戻されてしまいました。
OpenAI以外のAI検出ツール
実は、AI生成文書検出ツールを出している企業は他にもあります。最近ではEdward Tianさんという大学生が、自ら作成したプログラムをリリースしています。
私のように最近ホットなAI検出ソフトについて書いているライターなら、同様のツールを宣伝するプレスリリースがあふれていることもご存知でしょう。
ただ検出器も人間と同じように間違えることもありますし、昨今目覚ましい進歩を遂げるAIの文章力にはなかなか追いつけないようです。
ある査読前論文では、自動検出器にAIが作成したテキストを読ませても、検出率は3分の2程度だったそう。
結局、今はまだAI自身がAIの作る文章を見抜くことはできません。現状、高性能なAIチャットボットであるChatGPTを世に出しつつ、信頼性の高いAI検出ツールを開発しようとしているOpenAIは、ひとり相撲をとっているようなものかもしれませんね。
