姉妹記事でMuse Spark 1.2の第三者検証での位置を扱った。今日はその材料でもある、Terminal-Bench 2.1の検証済みリーダーボードでClaude Opus 5がどう位置づけられているか、そしてMetaが自社チャートでこの数字をどう扱っているかを見ておく。
検証済みリーダーボードの現在地
Terminal-Bench 2.1の検証済みリーダーボードでは、1位がGPT-5.6 Sol(xhigh設定)で89.5%、2位がClaude Opus 5で89.1%となっている。このOpus 5の89.1%は「Adaptive Reasoning, Max Effort」という設定条件での数字であり、この条件を併記せずに数字だけを引用するべきではない。あわせて、Claude Code + Claude Fable 5の組み合わせは83.8%(±1.2)、Muse Spark 1.2はこのリーダーボードに未掲載となっている。
Metaの比較チャートが依拠する数字
Metaは自社の比較チャートで、Muse Spark 1.2の82.9%を「Claude Opus 5の86.7%にわずかに及ばない」と位置づけている。ここで押さえておきたい事実が3つある。
- この86.7%はAnthropicではなく、Meta自身が測定した数字である
- Terminal-Benchチームによる検証値では、Opus 5は89.1%(前述の設定条件下)であり、Metaの自社測定値より2.4ポイント高い
- Muse Spark 1.2自身は、検証済みリーダーボードには掲載されていない
自社ハーネスによる測定値と、Terminal-Benchチームによる検証値の間には、ハーネスや評価条件が異なれば差が生じうる。ただし「わずかに及ばない」というMetaのチャート上の位置づけは、この2.4ポイントの差の上に成り立っている、という事実は書いておきたい。この差がなぜ生じたのかという動機については、当編集部として推測しない。
未検証の数字と検証済みの数字は、性質が違う
もう一点、混同を避けたいのがここだ。Muse Spark 1.2の82.9%は第三者による検証を経ていない自社公表値であり、Opus 5の89.1%はTerminal-Benchチームによる検証済みの数字だ。両者は測定の性質が異なるため、単純に数字の大小だけを並べてどちらが優れているかを断定することはできない。当編集部が実際に計測・検証していない性能主張について、優劣の結論を出すことは控える。
今日のまとめ
今日整理したかったのは、順位そのものよりも「その数字は誰が、どの条件で測ったものか」という一点だ。検証済みの数字には設定条件が伴い、自社公表値には検証の有無という留保が伴う。この2つを混ぜて読むと、実態とは違う印象を持ってしまう。ベンチマークの数字を見るときの心構えは、下記のピックアップ記事でさらに掘り下げている。