2025年２月 AIの間違い
最近 時々 AIを使用する。特に高度な利用をしているわけではない。用途は 翻訳とちょっとした調べもの そして孫の学校の宿題だ。
Chat GPT（無料版）とGoogle Gemini(無料) の両方に登録しているが 今はもっぱらGeminiを利用している。利用初めの頃 Chat GPT（無料版）では元になるデータが2019年までのものだったからだ。これでは最新情報を得られない。また 英語への翻訳など Geminiの方がChat GPT（無料版）よりも解説が親切なために勉強になる。ところが 左脳を使うロジカルな作業になると Chat GPTの方に軍配が上がりそうだ。その前に まずは「AIも間違える」ということを肝に銘じておかねばならない。
ちなみに Chat GPT-4（有料版）で 2022年の日本の医師国家試験を解かせたところ 正答率は必修問題で 82.7% 基礎・臨床問題で77.2％。それぞれ合格点だったという。しかし逆にいえば 百点ではないということだ。誤答箇所を調べたところ 医学知識の不足や日本特有の医療制度に関する情報不足に加えて 計算問題での誤りなどがあったという。AIだって計算間違いするのだ。
ついさっき Geminiで「２月8日東京15時はアメリカのサンアントニオでは何時か」と聞いたところ 「2月8日午前１時だ」と回答があった。「０時の間違いではないか」と再度聞いたところ 「あなたが正しい。先ほどの答えは間違いでした。申し訳ありません」との回答。ちなみChat GPTでは０時と正確な答えだった。なんでこんな単純な計算で間違うのか不思議でしょうがない。
先日中学2年の孫の化学で 分子の結合エンタルピーの宿題が出た。えっ？こんな難しいことをやっているのかという話はさておいて 例えば、「2H2+O2→2H2Oの反応」では反応前の結合エンタルピーは1370kJ。反応後は1852kJ。反応後に482kJ増える。
この変化は吸熱作用なのか発熱作用なのか うろ覚えを確かめるために Geminiに尋ねてみた。日本語で尋ねたところ「エネルギーが増加しているのだから482kJの吸熱作用だ」という。なるほど。しかし 時差のこともあるし 多少の不安があったので 英語で同じ質問をGeminiにしてみた。そうすると 何と英語の回答では 真逆の答え「482kJのエネルギーを放出する発熱作用」だという。結果から言えば 英語の方が正しい。化学反応の結果 分子が形成される作用はエネルギーの放出作用なのだ。日本語の説明は 実は間違いやすい誤った回答だった。英語のGeminiではここは誤解しやすいと解説していた。日本語でこの間違いを指摘したところ「日本語の回答は間違いでした」というお詫びメッセージ。
なぜ 日本語と英語で回答が違うのか。やはり学習のもとになる情報量の差なのだろうか。ちなみにChat GPT（無料版）で日本語で同じ質問をしてみたところ 正解を答えてくれた。どうやらロジカル作業に関してはChat GPTの方が上のようだ。日本語版 Geminiの奮闘を望みます。