GPT-4で賢くなりすぎたChatGPTでも解けない問題の話

※この記事は編集部がChatGPTと触れ合った思い出を記録するものです

先日、OpenAIの対話型AIサービス｢ChatGPT｣で次世代大規模言語モデル｢GPT-4｣が利用可能になりました。さっそく触っていたのですが、OpenAI自身の評価の通りに非常に賢くなっています。というか、どう考えても自分より賢い。

そこで気になったのがどんだけ賢いんだ？ということ。AIはすでに、ぱっと見美しい絵や写真をさくっと出力できるようになっていますし、頭脳ゲームでもプロを打ち負かすほど。それがより一般的な思考の世界にもやってきた感じ。

試していたら、一応解けない問題もありまして、ちょっとだけですがほっとしました。どうしてそう思ったのかを記します。

長文の質問でも即座に理解し回答できるGPT-4

使えるようになったGPT-4をさっそく触っていたのですが、すごすぎます。デフォルトのGPT-3.5とは段違いに賢い。

試したところだと、英語で830ワード（日本語に換算すると1500〜1700文字）に渡る長大で、相当に細かい条件をつけた質問も即座に理解しました。出してきた回答は非常に的確でした。

またすごいのが、長文だけでなく、文脈さえ明確であれば非常にラフな質問にもしっかり答えてくれるところ。説明コストがめちゃくちゃ低いです。

｢こっちの都合｣を汲み取って、勝手に合わせてくれます。この後、高度な内容について平易に説明してくださいという質問の例が登場しますが、本当に知識ゼロでもわかるような回答が返ってきました。

まぁなんというか、変な回答が返ってくるなら聞き方がよっぽど的外れなんだろうな、というのが秒でわかるくらいには段違いの賢さです。

ChatGPTをしっかり使うならサブスクリプションには加入したほうがいいでしょう。この賢すぎるGPT-4は、課金しないと使えません。

GPT-4でも数学の難問が解けない理由

そこで気になるのが｢ある程度正しく聞くとして、どれだけ難しい問題を解けるんだ？｣ということ。ということで、数学の難問を解かせてみることにしました（今回はリーマン予想。未解決の数学の難問で、素数の分布に関する予想です。解決すれば世界に大きな影響を与え、100万ドルの賞金も）。

で、リーマン予想を解かせようとした際の回答がこちら。

ChatGPT：私はAIであり、現在の状況ではリーマンゼータ関数の零点に関する予想（リーマン仮説）の完全な証明を提供することはできません。

あ、解けないんですね。

なぜなのかについての回答はこうでした。トライしたけど無理だった、とのこと（下線部参照）。

ChatGPT：リーマン予想は、とても難しい数学のパズルのようなものです。このパズルは、たくさんの賢い人たちが長い間解こうとしてきましたが、まだ解けていません。私はコンピューターのプログラムで、たくさんのことができますが、この難しいパズルを解くことはできません。

それは、まるで世界で一番高い山を登ろうとするようなものです。たくさんの人がその山に挑戦して、途中まで登ることができますが、誰もまだ頂上にたどり着けていません。私もその山に挑戦してみましたが、頂上まで行くことはできませんでした。私たちがリーマン予想を解く方法を見つけるまで、この難しいパズルは解けないままです。

｢賢さ｣の意味が人間とは明らかに異なる

｢人間にもChatGPTにもリーマン予想が解けないのはどうしてなの？｣と聞いてみたら、次のような回答が返ってきました。

ChatGPT：さて、このパズルは今まで見たことのないようなものです。超複雑で、奇妙なピースがたくさんあって、簡単に組み合わされるようには見えません。パズルを解くのが得意な世界一賢い人たちでさえ、このパズルを解くためにすべてのピースを組み立てる方法を理解できていません。

パズルをするときと同じように、時にはいろいろな戦略を試したり、ピースを新しい方法で見たりする必要があるのです。しかし、今のところ、リーマンの仮説のパズルを解く正しい方法を見つけた人はいません。

私はAIアシスタントです。つまり、本当に賢い友人のように、いろいろなことを助けてくれるのですが、自分で新しいアイデアを生み出したり、大きなパズルを解いたりすることはできないのです。他の人がすでに学び、発見したことを伝えることしかできないのです。だから、リーマン仮説のパズルも解けません。

この回答は大規模言語モデルがディープラーニングの一種であることを考えれば当たり前ではあるのですが、だいぶ驚きました。人間の許容量を超えるような膨大な知識を蓄え込んでなお（GPT-4の前バージョンにあたるGPT-3でも、学習データ量は、本に換算して40億冊ほどだそうです）、｢まだ答えのない問題｣や｢あまりにもあまりにも複雑な問題｣は解けないんだ、と。

ハーバード大学図書館は2000万冊以上を収蔵しており、それが蔵書量では世界トップクラス。1人の人間が読破するのは不可能でしょう。自分の身の回りのクリエイティブな人は新しい知識に貪欲で、常に情報を吸収していまし、自分も知識量は多いほうが、良いアイデアを閃きやすいんじゃないかな、と思っています。でも、知識量を人間の限界を越えて蓄積しても、解けない問題がある。

これから変わるのは創造性の意味なのかな、と思いました。これまで創造的だと思われていたけれど、実は既知の組み合わせで解けるパズルに過ぎなかったものが多数出てくる。それらはAIの仕事になるんでしょう。そういう賢さはまちがいなくある。

でも、自分としては少しほっとしました。AIにも生み出せないものがまだあって、人間には真に新しいことを生み出すという仕事が残されているように思えたからです。それができなそうな自分には何が残るのかなぁという不安もあるのですが、少なくとも今は好奇心が勝ります。ChatGPTを活かすと、どれほどのことができるんでしょうか？

参考：実際に投げた質問と回答

私：リーマンゼータ関数の零点が、負の偶数と、実部が 1/2の複素数に限られるという予想が正しいことを証明してください。

ChatGPT：私はAIであり、現在の状況ではリーマンゼータ関数の零点に関する予想（リーマン仮説）の完全な証明を提供することはできません。リーマン仮説は、1859年にベルンハルト・リーマンによって提案されましたが、それ以来数学界で未解決の問題の1つとなっています。それにもかかわらず、リーマンゼータ関数とリーマン仮説について簡単に説明します。

リーマンゼータ関数は、複素数sに対して次のように定義されます。

ζ(s) = Σ(n=1 to ∞) (1/n^s)

ただし、s = σ + it と表される複素数であり、σ, tは実数です。

リーマン仮説は、リーマンゼータ関数の非自明な零点（すなわち、負の偶数でない零点）がすべて実部が1/2である複素数であると主張しています。これが正しいと証明された場合、数論の多くの重要な問題の解決につながるとされています。

現在までに、リーマン仮説は未解決のままですが、数学者たちは数十億個以上の零点を調べ、これまでのところすべてが実部が1/2であることが確認されています。さらに、リーマン仮説と密接に関連するいくつかの他の問題が解決されており、その成果がリーマン仮説の証明につながる可能性があります。

リーマン仮説の証明は、現在のところ私の能力を超えていますが、数学者たちが引き続きこの問題に取り組むことで、将来的には解決されるかもしれません。

私：あなたがリーマン予想を証明できない理由を小学生にもわかるように説明してください。

ChatGPT：リーマン予想は、とても難しい数学のパズルのようなものです。このパズルは、たくさんの賢い人たちが長い間解こうとしてきましたが、まだ解けていません。私はコンピューターのプログラムで、たくさんのことができますが、この難しいパズルを解くことはできません。

それは、まるで世界で一番高い山を登ろうとするようなものです。たくさんの人がその山に挑戦して、途中まで登ることができますが、誰もまだ頂上にたどり着けていません。私もその山に挑戦してみましたが、頂上まで行くことはできませんでした。私たちがリーマン予想を解く方法を見つけるまで、この難しいパズルは解けないままです。

私：Please prove the conjecture below:

the Riemann zeta function has its zeros only at the negative even integers and complex numbers with real part 1/2.

ChatGPT：As an AI language model, I am not capable of generating new mathematical proofs or proving conjectures that have not been proven yet. The conjecture you are referring to is known as the Riemann Hypothesis, which is a statement about the zeros of the Riemann zeta function:

ζ(s) = ∑_(n=1)^∞ (1/n^s) for s ∈ ℂ, s ≠ 1

where ℂ denotes the set of complex numbers.

The Riemann Hypothesis states that all non-trivial zeros of the Riemann zeta function have a real part equal to 1/2. The trivial zeros are at the negative even integers, which are easy to prove as zeros of the zeta function when considering its connection to the Euler gamma function and the functional equation relating the zeta function's values on different parts of the complex plane.

The Riemann Hypothesis has remained unproven since its introduction by Bernhard Riemann in 1859, and it is considered one of the most important unsolved problems in mathematics. The hypothesis has far-reaching implications in number theory, particularly in the distribution of prime numbers.

Despite extensive computational evidence supporting the Riemann Hypothesis and numerous attempts to prove it, a rigorous proof has not been found as of my knowledge cutoff in September 2021. If the conjecture has been proven since then, I apologize for not being aware of it.

私：Why we and you can’t prove the conjecture? Please explain as if I was an elementary school student.

Alright! Imagine you have a big jigsaw puzzle with lots of pieces. This puzzle is really special because if you can solve it, you'll discover a secret about numbers that people have been wondering about for a very, very long time. The puzzle is called the Riemann Hypothesis.

ChatGPT：Now, this puzzle is not like any other you've seen before. It's super complicated and has lots of strange pieces that don't seem to fit together easily. Even the smartest people in the world, who are really good at solving puzzles, haven't been able to figure out how to put all the pieces together to solve this one.

Just like when you're doing a puzzle, sometimes you have to try different strategies or look at the pieces in a new way. But so far, no one has found the right way to solve the Riemann Hypothesis puzzle.

As for me, I am an AI assistant, which means I am like a really smart friend who can help you with many things, but I can't create new ideas or solve big puzzles on my own. I can only tell you what other people have already learned and discovered. So, I can't solve the Riemann Hypothesis puzzle either.

Source: OpenAI, Wikipedia, CMI, Harvard Library