年始からchatGPTの話題が尽きないですね。3月14日にはGPT3.5よりもパワーアップしたGPT4が発表されて更に注目を浴びています。僕もGPT4のAPIのwait listに登録したのでかなり待ち遠しいです。
さて、少し前に出版された「AI vs.教科書が読めない子どもたち」にて、Siriに「イタリア料理以外の店を教えて」と話しかけてもイタリア料理の店リストを提示する、と記載されていました。AIが言葉の意味を理解できておらず単なる計算機でしかない、ということを主張するためにこの事例を述べていました。(ほとんどの人々は”イタリア料理”を検索するから、統計的に最も無難な結果を出しているに過ぎない、とのこと。)
この質問を最先端の言語モデルを搭載したchatGPTに同じ質問をするとどうなるのでしょうか？
早速試してみようと思います。
検証
本検証では「渋谷駅近くのイタリア料理以外の店を教えて」と聞くことにします。
その前に、「渋谷駅近くのイタリア料理の店を教えて」と聞いてみました。
渋谷にした理由は僕もよく降りるので、というだけです。よさそうなお店があったら今度いってみようと思います。
事前検証
さっそく聞いてみた結果がこちらです。
三つ教えてくれました。chatGPTは2021年までのデータしか使っていないので、お店が今でもあるのか一応確かめてみます。まずは一番上のPizzeria e Trattoria da ISAをググってみると…
あれ？トップにでてきたのは目黒のお店でした。念のためGoogle mapでも検索してみると…
やはり渋谷駅近辺にはありません。どうみても徒歩5分でこれは無理… 渋谷店が昔あったけど閉店していうるということもなさそうでした。(いわゆるhallucinationってやつでしょうか。)
二番目のOsteria La Pausaはどうでしょうか？ちょっと雲域があやしいような… 結果はこちらです。
「Osteria La Pausa」ではなく「La Pausa」というお店がヒットしました。うーん、これはどう評価したらいいものか… ※食べログのLa Pausa渋谷神南店は閉店していました、残念。なお、三つ目の「Trattoria Margherita」も渋谷にはありません。
どうやら「イタリア料理店」は理解できていそうですが、「渋谷駅近辺」はうまくヒットできていません。chatGPTは対話型AIなので、一発ヤキを入れてみます。
今度はどうでしょうか。一番上から見てみましょう。
今回は渋谷区のお店を出してくれました。全然徒歩5分ではないのですが…一応実在するお店を出してくれたのでこれ以上の詮索は目をつむることにしました。(美味しそうだけどちょっと手が出なさそうです…)
本検証
検証結果
さっそく、検証結果を投下します。
結構いろんなお店を教えてくれました。さっきのことがあったので鵜呑みにせず、実店舗が存在するか調べてみます。(阿夫利って渋谷にあったっけなぁ…と思いながら公式サイトを見てみることに)
結論、渋谷店はありませんでした。(一画面には載せきれなかったのでキャプチャは割愛。)渋谷から近いのは恵比寿か三軒茶屋店でしょうか。徒歩5分はどう頑張っても無理ですね… 二番目のしゃぶ善はどうでしょうか？
お！渋谷にありそう！その距離は…？
おお！およそ7~8分！！！chatGPTは「徒歩6分程度」と答えていたのでこれはOKではないでしょうか！
ちなみに最後に答えていた「ひのもと」というお店は渋谷にありませんでした。さっきの結果を見たときはめっちゃ喜んでいましたが、三つ中一つしかないとなるとちょっと考え物ですね…
聞き方を変えてみる
Google検索にもコツがあるように、chatGPTから良い答えを得るにも「聞き方」が大切です。今回だと「近くの」がちょっと曖昧だったかもしれません。以下のような聞き方で尋ねてみました。
一風堂が家系ラーメンになってるのはさておき、一番目の「赤から」を調べてみます。
「赤から」というお店は渋谷に三店舗ありました！一番近いのは宮益坂店ですね。指定した条件もちゃんと満たしていました。ただここのお店は鍋料理店なんですよね… イタリア料理ではないけれども。なお、「道場六三郎」は料理人でした。銀座ろくさん亭という日本料理店を開いた方だそうで、うどん屋は開いていなさそうです。
まとめ
検証結果をまとめると、下記のようになりました。
- イタリア料理”以外”は軒並み提示できた。
- 「渋谷駅から近く」というワードは正しく汲み取れていないことが多い。
- 「渋谷駅から10分以内」というクエリであれば正しく取り出せる(かも)
- お店が実在していなかったり、ジャンルが間違っている。
- 一風堂が家系ラーメン扱いされていた。
一番調べたかった「イタリア料理”以外”」が正しく抽出できるかはうまく機能していたものの、そのほかの部分で綻びが見えたのはかなり意外で面白かったです。GPT4では一風堂が博多ラーメンとして扱われることを願っています。
ちなみに、「一風堂 家系」でググるとこんなニュースがでてきました。このせいかな…
コメント