自販機で買った缶コーヒーをポケットに入れて歩いていたら、たぽんたぽんと音がした。
眩しい青空。
農業機械が、田植えの準備のために田んぼを耕していた。
掘り起こされてでこぼこになった土を、鳥たちがくちばしでつつきながら歩き回っていた。薄茶色でお腹が白い鳥が数羽、鳩よりひとまわり小さいくらいの大きさで、それと遠くに白いサギが一羽いた。サギは真っ白で、脚と首が長くシュッとしていて、優雅に歩く。
茶色いほうの鳥が、何かをくちばしでつまみ上げた。たぶん虫とかで、土の中にいるのが出てきて食べやすくなっているのかも。鳥なら、暮らしに役立つ tips として覚えておきたい。
辺りは土の匂いがした。
tips はどうして tip と言うんだろう？
「有用な情報」と「（くちばしの）先端」が同じ言葉なのが、面白いなと思って。
LLMの出力を大量に読むと疲れる。
3月の初めぐらいに仕事で、LLMで生成したデータをデータの改善のために読んでいて、独特の疲労があった。大量というのは自分比で、自分はアノテーターではなくエンジニアなので、せいぜい何十件か何百件しか読まないし、精読するわけではなくざっと眺めるに近いが。それでも、なんだか頭がおかしくなりそうになった。
…と、人に言ったら、「AIスロップ」に毒されるのか？と聞かれたが、そういう、いわゆる質の低さやAI特有の文体だけが「頭がおかしくなりそう」の原因ではないと思う。じゃあ何なのかというと、…
そのとき、3月にデータを読んでいたときにひしひしと感じたのは、あらゆるものが解決を必要とする課題なのだということである。
LLMにとって（ここでは事後学習したモデルを指すが）、入力はすべて解決を必要とする課題であり、出力はかならず答えの形をしている。
（そのデータでは、極端な場合、入力部分が処理の失敗などにより質問として意味をなしていなかったとしても、LLMは質問っぽいものをそこから読み取り、それなりに最善を尽くした自信ありそうに聞こえる答えらしきテキストを出力していた。まあ極端な場合はさておきとして。）
事後学習は、事前学習でモデルが獲得した知識や理解を、質問に答えたり指示に従ったりという使いやすい方法で取り出せるようにするのが目的だと理解している。
その鳥はムクドリかケリかもしれません。冠羽や飛んだときの翼の色のパターンが分かれば、さらに絞り込めますよ。
あの鳥たちは、遠くてよく見えなかったし、飛んだところも見ていない。
Googleで検索して鳥の画像を見る。ケリは、もう少し暖かいときに鳴き声をよく聞く。くちばしと脚が黄色く、お腹の白いところがくっきりしていているようだ。
こんどはもっとよく見えるといいな。
テキストを読むとき、私はどこか自分の頭？心？の「やわらかい部分」を使って読んでいるようだ。
でも、LLMの出力を仕事で読むなら、文章を味わうとか鑑賞するとかが目的ではないわけだから、「やわらかい部分」を痛めつけないようにしたい。探索的にデータを眺める必要は依然としてあるだろうが、並行して、いろいろなテキスト分析手法を学び、道具を開発していきたいという気持ちを新たにする。
それで、
解決を必要とする課題はたくさんあり、解決に向かっている様子が見えると、安心する。NLPではテキスト処理をタスクという枠組みで整理し、日々の仕事では課題を設定して進捗を管理する。
しかしそれは、特定の種類の世界の見方にすぎないはずで、それなのに、すべてが今すぐ解決に向かう必要のある課題であるように感じられてくるのが、「頭がおかしくなりそう」の正体だと思う。
世界について、他にどんな方法で考えることができるのだろうか。
少し湿った、しかし雨とは違う、いましがた掘り起こされたばかりの土の匂いについて、まだ考えている。
