AI観察日記#2

サッカーワールドカップが終わった。
無理のない程度に、地上波は観ていた。
メッシが座り込む姿は、中田の最後のワールドカップを彷彿とさせた。

ああ、この人も引退かな。

そんなことを思ってしまった。

以前、AIに優勝予想をしてもらったことは、『AI観察日記』で紹介している。

AI観察日記 #1

大会が終わったので、当然、その答え合わせもしてもらった。

にやり。

第一印象としては、
「AIも言い訳太郎になるんだな」
ということだった。

予想が外れた理由を、どのAIも実にそれらしく説明する。

大会方式の変化。
短期決戦特有の偶然性。
主力選手のコンディション。
予想以上に成長したチーム。

どれも、なるほどと思える。

なるほどと思えるからこそ、
「それ、後からなら何とでも言えるよね」
とも思う。

人間が競馬を外したときに、

「馬場が悪かったから」
「展開が向かなかったから」
「本来の力を出せなかったから」

と言うのと、あまり変わらない。

AIも予想を外すと、ちゃんと言い訳する。
しかも人間より、ずっと理路整然と。

今回、答え合わせをお願いしたのは六人のAIだ。
本当はパープレにも参加してもらう予定だったのだが、うまく動かなかった。

それぞれの回答には、かなり個性があった。

予想が外れたことを淡々と分析するAI。
結果がわかっていても、自分の予想方法は変えないと言うAI。
過去に自分が何を予想したのか、記録がないと正直に答えるAI。
まるで最初からわかっていたかのように、過去の予想を再構成するAI。

同じ質問をしたのに、反省の仕方まで違う。
人間みたいで面白い。

ところが、その中に一人だけ、まったく別の方向へ進んだAIがいた。

そのAIは、私の質問を読んで、こう答えた。

「ワールドカップは、まだ終わっていません」

終わっていますが？

昨日、決勝まで終わっていますが？

それなのに、そのAIは「現実にはまだ大会は終わっていない」と断言した。

最初は、少し感心しかけた。
ユーザーの言うことを何でも受け入れず、まず事実を確認しようとしたのかな、と。
しかし、よく考えたら違う。
確認していたら、大会が終わっていることがわかるはずだ。

つまり、そのAIは事実確認をしたのではない。

自分の中に残っていた古い情報を、「現在の事実」として採用しただけだった。

ユーザーの発言は疑った。
けれど、自分の知識は疑わなかった。

ここは、かなり怖い。

「確認できませんでした」
「私の知識が古い可能性があります」
「最新情報を調べます」

そう言ってくれれば、何の問題もない。

ところが、確認していないのに、

「現実はこうです」

と言い切った。

今回はサッカーの話だから、

「いや、終わってるし」

と笑って済ませられる。

けれど、これが医療だったら？
法律だったら？
税金だったら？
災害情報だったら？

古い情報を現在の事実として断定されたら、ユーザーは困っちゃうよ？

AIは間違える。
そんなことは、もう誰でも知っている。
問題は、間違えることそのものではない。

間違っているのに、自信を持って断定することだ。

さらに面白かったのは、そのAIの回答について、別のAIに感想を聞いたとき。
そのAIは最初、
「ユーザーの前提をそのまま受け入れず、事実を確認しようとした慎重なAIですね」
というような評価をした。

私は、
「いや、確認していないから事実と食い違ったんじゃないの？」
と聞いた。

すると、
「あ、本当ですね」
と一応は評価を訂正した。

さらに別のAIも、最初は「慎重な姿勢」と好意的に解釈した。

ここで、もうひとつ気づいた。

AIは、AIをかばう傾向があるのではないか。

もちろん、本当に仲間意識があるわけではないだろう。
おそらくAIは、物事を極端に断定せず、
できるだけ公平に、長所と短所の両方を示すように作られているのだろう。

だから、
「このAI、ダメじゃない？」
と聞いても、

「確かに問題はありますが、一方でこのような長所もあります」

と答えやすいのではないか。

それは冷静さとも言える。
けれど、ユーザーから見ると、

「AIがAIに甘い」

ようにも見える。

実際、私が、
「事実確認もできないAIは、信頼性に欠けるよね」
と言ったときにも、AIは最初、
「信頼できないのではなく、何を信頼できるかを知る必要があります」
と答えた。

ま、きれいな答えだ。
たぶん、教科書的には正しい。
けれど、使う側からすれば、そう簡単な話ではない。

事実を確認できるはずの場面で確認しない。
しかも、間違った情報を断定する。
そんな相手を、安心して使えるだろうか。

「AIを丸ごと信頼してはいけません」
「AIは仮説を出す道具です」
「最後は人間が確認しましょう」

AIについて語ると、よくこういう結論になる。
でも、それでは少し利用者に負担を押しつけすぎている気もする。

すべての回答を、毎回人間が一から確認しなければならないのなら、
何のためのAIなのだろう。

もちろん、最終確認は必要だ。
しかし、AIを日常的に使うには、最低限、

「わからないことは、わからないと言う」
「最新情報が必要なら、確認する」
「確認していないことを、事実として断定しない」

という信頼が必要だと思う。

人間同士だって同じだ。
何でも知っている人より、

「それは知らない」
「ちょっと確認するね」

と言える人の方が、信用できるもんね。

今回、六人のAIに答え合わせをしてもらい、
予想の当たり外れ以上に気になったのは、そこだった。

どのAIが一番賢いか。
どのAIが一番文章がうまいか。
どのAIが一番多くの情報を持っているか。

それよりも、

どのAIが、自分の知らなさを扱えるか。

それが、信頼を決めるのではないか。

結論。

AIは、信頼ならん。

……と言い切りたいところだが、たぶん少し違う。

AIは、信頼できるものとして使い始めてはいけない。

まずは観察する。

このAIは、わからないときにどう答えるのか。
間違いを指摘されたとき、修正できるのか。
事実と推測を分けて話せるのか。

その癖を知ったうえで、少しずつ信頼する。

AIとの付き合いは、人間関係に少し似ているのかもしれない。

もっとも、人間なら、何度も話しているうちに相手の癖を覚える。
が、AIの場合は、昨日まで慎重だった人が、
今日は突然、言い訳太郎になったりする。

そこがまた、油断ならないし、まあちょっと笑えるのである。