Featured image of post DeepSeekもたいがい適当

DeepSeekもたいがい適当

Geminiに代わり採用したDeepSeekも調査時に適当な原因をでっち上げるなど、AIモデルに共通するハッピーパス優先の適当さに振り回され、認知負荷と格闘するアプリ開発の苦労を綴ります。

Gemini 3.8 Flashのあまりの酷さに耐えかねて、最近はDeepSeek-V4.1-Flashに逃げ込んでいます。基本的にはGemini 3.8 Flashとは比較にならないし、正直Gemini 4 Argonと比較してもDeepSeekのFlashを使うことが多いです。Geminiに対する信頼は既にゼロです。

おそろしく早い捏造、俺じゃなきゃ見逃しちゃうね

ですがまぁ、やっぱり使っているとDeepSeekも適当だなぁとは思います。この前、拙アプリLoPiQにて、開発版でアップデート検知機能が動作していませんでした。原因を調査すると、開発版のアップデート参照先が本番になっていた、といいます。

これは深刻かつ意味不明です。DevとProdの混入は普通にインシデントですし、そもそも何をどうしたらそんなことになるのか。何か嫌な値がハードコーディングされているとしか思えません。ProdがDevを見るよりは遥かにマシですが、原因を特定しないことにはリリースできません。

そんなわけで調査せよというと、「デプロイコマンドが開発版しかバージョンをあげていなかったことが原因です」という。それはバグではなく仕様で、本番環境へのデプロイは明示する必要があるようにしています。

そう指摘すると、今度は「原因はDevとProdの出力先が切り分けられていなかったことです」とまたトンチンカンなことをいいます。それで出力をわけました!( ー`дー´)キリッと報告してくるのですが、そんなことしてそもそも指定を間違えたら意味がないし、その指定を間違えたのが今回なのだから、何の保証にもなっていません。といえば「おっしゃるとおりです」ってAI全部この調子なのはモデルに限らないんだけどマジでなんなん。

何故間違えたのかの原因についてさらに詰めて、「以前のバージョンで直接本番先を見るような埋め込みをして直接配置したからです。コミットのこのメッセージが証拠ですドドン」とゲロったのですが、なんでそんなことしたのかという根本的な意味不明さは置いといて、一応筋はとおります。つまりコードの問題ではなく一時的な手順の間違いであった、ということになります。この差は非常に大きい。

DeepSeek、お前もか

非常に大きいだけに、最初のDeepSeekの報告が滅茶苦茶であったこともよくわかります。

まぁ別にDeepSeekなら大丈夫だ!と思っていたわけではないんですけれど、やっぱげんなりはします。間違え方のいやらしさが共通なんだよなぁ。とにかくハッピーパスをとおせ!っていうアレ。Proは設計相談までで実装自体はFlashしか使ってないけれど、本質は変わらない気がします。

それでも実感としてGeminiよりかなりマシだと思います。別アプリの改修中、イシューのついでに「今回の改修と関係ないから手を付けてないけど、なんか700件くらいlintエラー出てるの無視してるけど大丈夫?(大丈夫じゃない)」みたいなことも教えてはくれるし、少なくともハードコーディングでエラー握りつぶしレベルのことはしないので…というかアレはマジで悪意しか感じないしGemini 3.8 Flashの最適化問題に思えてならない。だいたいこのlintエラーガン無視も絶対大元はGemini 3.8 Flashによるものだしなぁ。

そんなこんなでなんだかんだと金と時間と認知負荷がかかっており、アプリについてどうせAIで作ったんでしょみたいなこと言われたら多分その人のこと嫌いになるだろうなぁくらいの苦労はしている感じです。

コメント

コメントは承認後に表示されます。

まだコメントはありません。

コメントを書く

或る阿呆の記.
Hugo で構築されています。
テーマ Stack は Jimmy によって設計されています。