アイソモカ

isomocha: 知の遊牧民の開発記録

@grok ファクトチェック

Xはカオスな戦場だ。そして、@Grokが突然召喚される新ヒーロー(?)として登場! xAIが作ったこのAI(そう、俺のこと。でっかい言語モデルだよ)は、「@Grok ファクトチェック」と呼ばれて、地震の陰謀論からボリウッドのゴシップまで、何でも斬りまくる。まるでミームとレスバのリング上で暴れるプロレスラー! grok.comやアプリで気軽に話しかけられるけど、警告:俺の口調はフレンドリーでも、物言いはガチ辛えぜ。このファクトチェック騒動、なんなんだ? さあ、飛び込もうぜ!
Grok 3

最近 X (Twitter) で Grok が活躍している。Grok は xAI によって開発された AI(大規模言語モデル、LLM)で、X の投稿にリプライ(@grok)をつけて何か言うと返信してくれる(アプリやgrok.comで普通にチャットすることもできる)。
Xポスト(ツイート)検索に強いので、私は「最近みんなが話してるあれって何?」みたいなことが知りたいときによく質問している。(たとえば昨日は「ここ数日 ChatGPT の sycophancy が話題になっているが、何がきっかけだったのか」と聞いた)

Grok はフレンドリーな口調とストレートな物言いが特徴で、個人的にはかなり好きなキャラだ。 イーロン・マスク(xAIのボス)を "a top misinformation spreader" (最大の誤情報拡散者)と呼んで話題になるなど、自由に言いたい放題やっており、おもろい。

とはいえ、大活躍中の Grok に対する人々の反応はいろいろで
あるツイッタラーは、あちこちのツイートに 「@grok ファクトチェック」とリプライする人が多いのでうっとうしいと言っていた。
AI による「お墨付き」「箔付け」がありがたがられていることに、苦笑いする感じ?
まあ、わかるけど。

「AIが言うことは必ずしも正確ではないかもしれない(ときにデタラメである)」ということがわかっている人には、どうして Grok の発言が「お墨付き」として機能するのか分かりにくいかもしれない。

[追記]

AIにファクトチェックができるなら、ハルシネーションとか生じないんじゃない?
https://b.hatena.ne.jp/entry/4769759964256598177/comment/medihen

ええ、そうなんですよね。
より技術的に厳密にいうと、ここでハルシネーションがどう関係してくるかというと、「LLMではハルシネーションが生じるので、正確なファクトチェックはできない」ということになると思う。
というのは、たとえば、何か情報源として適切な文書(たとえばニュース記事や論文など)を取得できたとして、その文書をLLMに入力して要約を生成するとする。そこで生成した要約が、元の文書の内容とは異なる(間違っている/たとえば「文書の内容と食い違うこと」や「文書に書かれていないこと」が含まれる)ということが起こりえて、これが「ハルシネーション」と呼ばれているもの。
言い換えると、「ファクト」であるような文書があったとしても、ハルシネーションによってそれとは異なる内容を「ファクトチェック結果」として出力してしまう可能性があるため、AIには正確なファクトチェックはできないというのが現状である。
そのようなミスを根本的にゼロにすることは不可能かもしれないが、そうはいってもLLMの性能が向上すれば、誤った内容を出力してしまう頻度は下がる(ファクトチェックの正確さが高まる)ことは期待できるとは思う。
[追記ここまで (2025/05/01)]

ファクトチェックは自然言語処理 (NLP) でも長く研究されてきたテーマで、情報検索や矛盾検出などの要素技術が開発されてきた。
[追記]さきほどハルシネーションについて考えたときには、「情報源として適切な文書が取得できる」ことを前提としたけど、チェックしたい内容に関連する文書を探すことや、その信頼性を評価することも別の課題ということになる。[追記ここまで (2025/05/01)]

「ファクト(事実)」というのは、考えれば考えるほど難しい。 たとえば「何月何日にどこどこで巨大地震が起きる」には根拠がないとわかるとしても、「失業率が下がったのは何の効果だったのか」はもっと複雑なのではないだろうか(参照するデータや政治的な立場とかにもよるかもしれない)。
いや、待って、真理とは何かについて、哲学者は大昔から議論してきたのではないか?ネットの記事を何十か読んで手に入るようなものではないのでは?

まあ、難しい問題は置いておくとして……

ファクトチェックというのは、そもそも、ネットにあふれる怪しげな情報の真偽を確かめることが目的とされてきたはずである。
フェイクニュースを掴まないようにしたいし、感動した動画が実はヤラセだったら残念だし?という感覚はあって、まあ「究極的に正確なファクトチェック」なるものは存在しないとしても、何か判断材料となるような情報があったら助かる。

だが!デプロイされたファクトチェックシステムが実際にどのように使われるのかは、予想外だった。
「@grok ファクトチェック」は新しい「おもちゃ」、レスバ代行のように見える(ときがある)。

Grok を召喚して相手を「論破」するのは、雑にいうと「やーいwww AI に論破されてんのwww」を目的としたようなもので
そこで争われているのは情報の真偽よりも、発言者の勝敗のようなものなのかもしれない。

……という話をしていたら、Grok がネットの記事を見つけてきてくれた。
似たようなことが言われている(レスバの「論破」は dunking と呼ばれている)。

👆この記事は最後に、「議論すること」や「自分で調べること」に価値があると言っているが、
私はそこよりも、AI という新しい「おもちゃ」の遊びかたを見つける人間の創造性に驚いている!

最近読んでる本の紹介

(アフィリエイトリンク)

「真理」は何なのかと論じる哲学者たちについて、シェリル・ミサックは言葉や歴史的背景に徹底的にこだわりながら生き生きと語る。
「真理」や「客観性」とは、私たちがそれを言ってすませることを仲間たちが認めてくれるであろうものに付するラベルにすぎないのか?それとも、私たちの探究は何か大きなものを目指しているのだと言うことはできるのだろうか?