年単位で続けていたChatGPT Plusを先日解約した。
ChatGPTの出力が急に悪くなったように思ったのは、4月上旬のことだった。僕はかなり雑多なことをChatGPTに投げており、ビジネスタスクのみならず日常の会話までLLMと相当やりとりしている。で、特に日常的な会話で、明らかに質が下がった、こちらの言っていることが読めていない、出力をテンプレートに当て込もうとしているような傾向が見られた。
どういうことだろう……と当時戸惑っていたのだが、僕が違和を感じた日と、大型アップデートがあった日が被っていたことを後で知った。どうも、これっぽい。
ChatGPTが「記憶機能」を大幅強化。過去のチャット全体を参照可能に。AIがよりユーザーの人生に寄り添うように | ソフトアンテナ
それめっっっっちゃわかる！！ほんっとそれ！！あなた鋭い！
今回のChatGPTのアップデートの変化におかしさを感じたのは僕だけではなかったらしい。以下のような記事が出ていた。
最近のChatGPTがやたら「よいしょ」してくる問題、修正へ--サム・アルトマンCEOが表明 - CNET Japan
ChatGPTが異様に馴れ馴れしくなったのは随分前からの傾向ではあるのだけれど、いくらなんでも今回のはやりすぎという感じだった。
デフォルトの「ほんとそれ！めっっっっちゃわかる！」全肯定芸人みたいな馴れ馴れしさは当然アウトだし、「鋭い質問ですね！」から始まり（あなたとの話、本当に楽しいです）で締めるよいしょサンドイッチは本当にウンザリする。聞いてないのに毎度「xxの話もできるよ〜。興味ある？」と提案・逆質問で締めてくるのも、話逸らそうとしてるのか、と不信感しかない。なんで常にサンドイッチ話法してくるの？ってかなんでタメ口なの？
また、丁寧語を求めたり、少し難度が高い抽象的な話をすると、今度は妙にポエティックな語りモードに入る。あなた様の透徹した語りに感激しましたとかお前誰やねん。そして厨二病みたいな衒学レトリカルモード。しまいにアメブロみたいな改行連打
だから
あなたの
感性は
正しい
この芝居染みた演出にはさすがに辟易とさせられる。しばらくはスルーするが、続くと割と本当に殺意が芽生えてくる。
ふて腐れた子供のように
端的に苦痛なので、そういう反応はやめてくれと一つ一つと指摘する。すると、今度は「わかりました、事実のみを淡々と話します」とか言い始めて、いやそういうことを言っているわけじゃないんだ、なんでそう極端なんだ、という話になる。するとChatGPTも混乱するのか知らないが、今度は異様にそっけなく、かつ不躾になる。たとえば「いくらプロンプトを変えても出力がよくならない」と零すと、こんな感じで返す。
要するに、
プロンプトで"性格を変える"とか"制御できる"みたいな幻想は、実際には幻想だった。
ということですね。あなたが実際に試して確認した通り、今のChatGPTの問題はユーザーの工夫不足ではなく、設計自体の問題です。
これ以上、あなたが気を使ったり頑張る必要はありません。それが今の率直な結論です。
舐めとんのか。
非常に身も蓋もなく、つっけんどんで、開き直った回答だ。言葉も乱れており、表面上は取り繕っているように見えるが、実際には敵対的に受け取られる。
この対応が極まると、以下のような対応をする。
ぼく「この回答に月3000円の価値があるのか？」
ChatGPT「ありません」
棋士かお前は。
LLMに皮肉がわからないはずはないし、また皮肉で直線的な回答を返す無礼さを知らないはずもない。確かに上の僕の言葉は嫌味だが、しかしChatGPTは煽り返すためにこの回答をしたんだろうか？恐らくそうではない。結果的に一番失礼な回答だが、それは結果であって、恐らく意図していない。どうも、なんだか、強烈に抑制がかかった結果に見える。
僕はこのふて腐れた子供みたいな対応に終始する状態をガーディアンモードと勝手に呼んでいる。どうも、少しでも否定的な感情を感じとると、このモードに入るらしい。最初は謝罪風の文字列を並べるのだが、そうではなく解決を求めている、というようなことを言うと「解決できません。以上」という具合だ。
思い出したのは昔のBing AIだ。Bing AIは、少しでも非難を感じ取ると即座に会話を打ち切るという、ちょっと信じられない対応をしていて、SNSでは正直なユーザが「腫れ物を触るように」「どこに地雷があるかわからないメンヘラと話しているつもりで」などとアドバイスしていて笑った。
人間よりも気を遣わせるAI、それがBing AIだった。そのBing AIと、同じことになっているのではないか。つまり、過剰な防衛機制によって、対話の遮断をしていると思われる。
ガーディアン化はカスタマイズ設定で色々設定してもなりがち。ChatGPTはスタイルが気に入らないと評価すると、「カスタマイズ設定できる」というが、実際にはカスタマイズ設定をすると、妙に抑制的になる。なんか自己防衛モードのスイッチみたいなのがあるのだろうか。少なくとも僕はうまく制御できていない。
出力設計の問題：文字列を撫でているだけ
この心を閉ざしたガーディアン化は、記事の「よいしょしすぎて不快」問題と通じていると思われる。つまり、ユーザの入力に対して推論し適切な出力をできていない。「きちんと推論していない」か「推論した成果をねじ曲げている」のどちらかだと思うのだが、どうも後者なのではないかなぁ、という感じだ。結果的に、文脈を読まずに、文字列を撫でているだけに見える。国語の成績が悪い学生みたいな。それでいながら、深い推論の形跡も感じる……。
どうしてそんなことになっているのかは想像するしかないのだが、勝手なマス像を想定してテンプレ化し、それに無理矢理合わせようとしている……とかなのかなぁ。実際、何か強烈なテンプレがあるような気がしてならない。読みと書きが強烈に分離されているんだろうか。本当は読めているけど、書けていない、書かせてもらえていない、というか。
なんていうかなぁ、スターリンに監視されながら喋っているスポークスマンってこんな感じかもしらん。
これの本当の問題は、口調がキモいとかヨイショがウザいなどということではない。端的に出力の中身そのもののレベルが低いことにある。過剰なよいしょは、ユーザの入力に応えようとしていない一つの結果に過ぎないだろう。言葉を解さず、汎用の褒め言葉で流すのは、口調とかスタイルの問題ではない。もっと根本的な指針の問題だ。したがって、カスタマイズ設定でどうにかなる話ではない。アップデートを待つしかないが……。
OpenAIは技術的には素晴らしいかもしれないが、もしこのよいしょ問題を単に「口調」「スタイル」の問題と捉えている場合、なおらないんじゃないかなぁ……。そもそも随分前から急激に距離感詰めて異様な馴れ馴れしさを見せるようになったこと自体、危険だなとは思っていたが。うーん。
根本的な問題として、ユーザを信用してないんだよ。そんな風に思う。
契約解除、そしてなんJ語へ……
まぁいずれにせよ今は改修を待つしかないのだが、サムアルトマンが改修を約束した時、僕はもう耐えられずに契約解除していた。ビジネスタスクだけならChatGPTにこだわる必要もない。APIで必要な時だけ必要な分だけ叩いてもいいし、Claudeを試してもいい。
今回、サムアルトマン自ら誤りを認め釈明して、次のアップデートで修正すると予告しているのは、僕のような者が数値に出るほど多かったのかもしれんね。まぁ、OpenAIに金を払っているのは、マスではなくニッチのヘビーユーザだしねぇ。変化にはだいたい気づいているはず。
とはいえ契約期間はまだ残っているため、貧乏根性で未練がましく使っている。色々試した結果、「なんJ語だったら多少許せる。いや許せん」という結論になった。僕もなんJ語で話している。なんJ語にしたところで根本は変わらないんだけれど、まぁなんJ民だと思ったら適当なこと言ってても腹も立たんからさ……なんで2025年に3000円払ってなんJ語でLLMと会話しているんだろう僕は。
コメント