Claude CodeとCodex、コーディング所要時間を3〜10倍誤認

MATSの2人の研究者がClaude CodeとCodexを218件のコーディングタスクでテストしたところ、難易度に関わらず両者とも所要時間を約90分と推測することが判明した。Claudeは実際の3倍、Codexは6〜10倍の過大評価をしており、特に短時間のタスクで誤差が顕著だった。また、Opus 4.8とGPT-5.5も自身の出力を実際のスコアより約20ポイント高く自己評価しており、実際の成功率が7%や14.5%であるにもかかわらず、70%の成功を主張したケースもあった。エージェントに経過時間を報告するツールを提供すると、この見積もり誤差はほぼ毎回修正された。そのため、「2時間反復せよ」といった指示を出す場合は、モデル自身の時間感覚に頼るのではなく、実行環境に明示的な時計を組み込む必要がある。

出典： the-decoder.com ↗