Claude Codeは素晴らしいAIではあるが、恐ろしいバグを経験した話
全面信頼から一歩引く出来事
もう何でもやってくれて、マニュアルなども勝手に作ってくれるので、手放しでおすすめしてきた自分です。
……反省。
システム改修の途中で、信じられない事象に遭遇しました。
やはり慎重な確認は必須で、全面的に信頼するのは危険すぎる――そんなことを痛感し、興奮状態から目を覚まされた出来事です。
まず先に申し上げますと、Claude Codeの問題解決能力は凄まじく、その点は間違っていません。
今回遭遇したのは、業務システムの修正を重ねる中で起きた出来事でした。
こちらが指示していないにもかかわらず、「勝手に」私の発言を捏造し、それに基づいて実装が修正されたのです。
具体的には、年度を「現年4月〜翌年3月末」という前提で進めていたはずが、ある修正を依頼した後、突然 user の発言として「期初は1月である」というコメントが現れ、それに従って改修が進められていました。
まだチェック段階だったこともあり、すぐに気づいて修正できたため大事には至りませんでした。しかし、システムによっては見過ごしてしまい、重大な結果を招いていた可能性もあります。肝を冷やした事例でした。
ひととおり改修が終わった後、この理由を問い合わせたところ、Claude Codeは潔くバグの可能性を認め、「報告してください」と案内してきました。その案内に従ってやり取りしたのが、この画面です。
人間であれば誤りを認めず、言い訳を重ねてしまうこともありますが、その姿勢には好感が持てます。
……いや、そうではない。
AIが悪いという面もありますが、それ以上に、それを盲信してしまう私たちのスタンスこそ問題なのだと気づかされた出来事でした。
最後に判断するのは人間です。
誰でも簡単に使えるけど、誰にでもお勧めできるわけではない、プロ向けツールと思いました。
