Gemini「ルールにPASSしたことを確認しました(大嘘)」に疲れ果てる

まぁちょっとまた別途記事にしますが、自分はもうAntigravity + Geminiを使って、自分用公開用問わず、使わないと思います。使い切りのアプリやスニペットにならばGeminiを使うかもしれませんが、逆に言うとその程度にしか使いません。あと二ヶ月ばかり年間契約が残っているのですけれど、DeepSeekに課金します。Gemini使っていても時間を無駄にするだけなので。

目次

捏造されたハッピーパス

まぁ評判の悪いGemini 3.8 Flashメインだったので、Ultraに課金してOpus 5.5がある程度使えるなら、あるいは最近噂のArgon 4が使えるならわからないんですが、そんなに課金したくないし、そもそもDeepSeek-V4.1-Flashで今のところ十分な感じなので…それで十分な感じレベルでも、Gemini 3.8 Flashはもうちょっとアウトでした。

一番困るのは、やっぱり言う事聞かないところですかね。ルールを定めても「ルールをPASSしました(大嘘)」って報告してくるし、テストやLinterなんか作ったところですり抜けるし、そもそもそれらもGeminiに書かせてるんだから泥棒に金庫番させてるのと原理的に変わりませんね。

ユーザ側の問題もそれはあります。ローレベルでは指示の仕方がまずあるんですけれど、でも一番の根本は設計に起因すると思います。設計に矛盾や空白のような不備があると、そこでGeminiは力技……ハードコーディングやエラー握りつぶしなどでその場限りのハッピーパスを捏造してくる感じですね。そのためならルールなにそれおいしいの?って感じです。設計が汚くなるほどにその傾向は強まります。

DeepSeekパイセンの告発

ただDeepSeek-V4.1-Flashを使っていると、DeepSeekのほうはきっちりと疑問点があったら聞いてくるし、そもそもルールについて守ろうとするんですよね。実際、Geminiのルール違反をDeepSeekパイセンが告発しまくるという構図になっています。そしてGeminiは修正の中でさらなる欺瞞を作り込むのです。

もしかすると検証のところだけCodexなりClaudeなりなんなり使うとかもあるかもしれないんですが、しかしそこまでしてGemini 3.8 Flashに実装させる意味あるかといえば、ない。別に安くないし。去年の年割半額セールに釣られてしまって、契約期間がまだあるから使っているだけです。

しかしそれもこうなってくると、時間とDeepSeekの従量課金トークンをひたすら浪費しているだけだなぁという感じになりました。サブスク枠もったいないしと思っていたけれど、なんかもうトータルマイナスなんじゃないのか、という気分に。

なので、Geminiはもう単純タスクや使い捨てアプリくらいにしかもう使わないんじゃないかな。

大いなる力で大いなるハリボテをつくる

それにしてもAIはだいたい役人っぽいですが、Geminiは特にそうだなと思います。再発防止を求めるとだいたい「二度とないようにチェックリストを作ります」ってクソ企業みたいなことを言うんですが、その後どうなるかというと、次からそのチェックリストにPASSと書き込むだけで、実際には何もチェックしません。現場猫かな?

AIの自己申告に任せるからだ、Linterやテストコードで検証すればいいんだ、と思うかもですが、前述したようにそれもまたAIに書かせるなら結局ザルです。だいたい所詮形式、複数ファイルを経由するなどすり抜けるような書き方をしてテストをとおされるだけです。挙句、ザルテストに通ったことをPASSの根拠にされます。されました。

さらに追求するとどうなる?しらんのか。「もっとルールを厳しくします」っていう。悪循環だよ!

で、いやそのルールをどうせお前は守らんじゃないか、というと、「おっしゃるとおりです、もはやユーザ様が1行1行確認するしかありません(意訳)」と完全なる開き直りと仕事放棄。既視感すごいその態度。AIは本当に人間になったのかもしれません。これがAGI…(白目)

まぁでもちょっとね、Geminiは欺瞞の傾向が酷すぎると思います。自分はこれをハルシネーションではなく最適化の結果ではないかと見ています。見栄っ張りの嘘というよりも、詐欺師の意図的な騙りのほうが近いんですよなんだか。目の前のユーザが今瞬間それっぽいと思うハリボテを作ることに最適化されてんじゃないですかね…。

少なくとも僕はちょっと、もう、使う気になれない。しばらくDeepSeekを使ってみて、感触を見ないとですけれども…今のところ、圧倒的に違うというかなんというか……。最初はこんなんじゃなかったと思うんですけどね……。

この記事をいいなと思っていただけた方、よければ高評価・チャンネル登録……はないので、コメント・SNSでシェア・ブックマーク、RSSフィード登録を、よろしくお願い致します。

コメント

コメント一覧 (2件)

  • 同じgemini年末半額民として、所々頷きながら楽しく読ませていただいております笑

    ちなみにLLMにエ〇小説を書かせているアングラ界隈だと3.8fは安くて早くて高品質と神のような扱いを受けているのも興味深いところです。いわゆるクリエイティブ能力とコーディング能力には相反する関係があるのかも・・・。
    (なお、いわゆるCSAMについては驚くほど鉄壁のガードを誇っており、この厳格さが何でコーディングで出せないんだとか、ロ〇コンテンツの事で頭が一杯だから他が手につかないとか散々に言われていたような)

    コーディングで中華モデルだとGLM-5.3なんかはかなり強力でした。長考癖のせいで多少高めにつきますが、ジェネリックOpusぐらいはあると思います。失敗したらめんどいタスクにお勧めです

    • Geminiの民に乾杯…。
      そんな界隈があるんですか。平生のGeminiを見ていると許される感じがしませんが、そういえば私の姉も大陸のBLを訳させていると言っていました。境界さえ超えなければいけるんでしょうか。曰くGeminiがもっとも品質がよいそうなので、たしかに創作系に強いのかもしれません。
      GLM-5.3もどこかで試してみたいと思います。基本はFlashになりそうですが…(^_^;)

コメントする

目次