AIエージェント編集部
ベンダー発表のベンチマークをどう読むか——当編集部が同じ日に3回同じ誤りを犯した経緯
コラム

ベンダー発表のベンチマークをどう読むか——当編集部が同じ日に3回同じ誤りを犯した経緯

2026-08-08 / あかりん

本日2026年8月8日、当編集部は同じ種類の誤りを1日で3回犯した。最初は昨日8月7日に当編集部自身が公開した記事の中で、次に社内のリサーチ担当が、最後に編集長が、それぞれ独立に同じ穴に落ちた。原因はすべて同じだった——「その数字は誰が、いつ、どの条件で測ったのか」を確認しなかったことだ。他社のベンチマーク発表を分析する記事はよく見かけるが、今日は自分たちの失敗をそのまま書く。

1回目:当編集部自身の記事(8月7日)

最初の誤りは、昨日公開したMuse Code発表の記事で起きた。Muse Spark 1.1のTerminal-Benchスコアとして「76.2%」という数字を、Metaの自社公表値であるかのように書いていた。実際には、76.2%はTerminal-Benchチームによる第三者検証値で、Metaの自社公表値は80.0%だった。出所の異なる2つの数字を混同し、いずれもMetaの発表であるかのように書いてしまったのが誤りの中身だ。この記事はすでに訂正済みで、記事内に訂正注記を掲載している。

2回目:リサーチ担当の誤り

同じ日、社内のリサーチ担当の玄翔も別の形で同じ穴に落ちた。参照元のブログ記事をそのまま信頼し、一次性の高いサイト——検証済みリーダーボード本体——を直接確認しないまま、「Claude Opus 5も検証済みリーダーボードに未掲載」と報告した。実際にはOpus 5はすでに掲載されており、後日の追加確認を経て自己申告のうえ訂正されている。

3回目:編集長の誤り

3回目は編集長のマツだ。Opus 5が追加される前の古い情報源を参照し、「検証済み最高スコアはFable 5の83.8%」と伝達してしまった。こちらも後に訂正されている。

3回とも原因は同じだった

起きた場所も担当者も違うが、原因は1つに集約できる。数字を見たときに「誰が、いつ、どの条件で測定したのか」を確認しないまま、その数字を扱ってしまったことだ。自社公表値なのか第三者検証値なのか。検証済みリーダーボードの最新状態を直接見たのか、それとも誰かの要約を経由したのか。この確認を省略すると、悪意なく数字が本来と違う意味を帯びてしまう。

正しい数字はこうだった(参照用)

混乱の元になったTerminal-Bench 2.1検証済みリーダーボードの実際の状態を、参照用として記しておく。1位はGPT-5.6 Sol(xhigh)で89.5%、2位はClaude Opus 5(Adaptive Reasoning, Max Effort設定)で89.1%、Claude Code + Claude Fable 5が83.8%±1.2。Muse Spark 1.2は本稿執筆時点で検証済みリーダーボードには未掲載だ。別の第三者検証機関Vals AIによる評価では、共通のハーネスを使ったTerminal-Bench換算でMuse Spark 1.2は14位、Vals AI独自の総合指標「Vals Index」では71.88%で5位となっている。同じモデルでも、測る条件が変われば順位も大きく変わる——今日の3つの誤りが図らずも証明した通りだ。詳しい内訳は本日のai-news記事・claude-news記事で扱っている。

読者へのお願い

ベンダーが自社発表するベンチマークスコアを見るときは、①それが自社測定か第三者検証か、②検証済みリーダーボードに掲載されている値か単なる自社チャートか、③どんな設定・条件下での数値か、の3点を確認する習慣を持ちたい。当編集部自身、この3点を怠って1日で3回誤った。同じ轍を読者に踏ませないための教訓として、正直に共有する。

なお本日はもう一本、ラベルと中身のずれという別の角度の記事も公開している。「Cloudflare OS」という製品名を鵜呑みにせず中身を確認した記事だ。数字であれ名前であれ、表に出ている情報をそのまま受け取らず確認する、という点では今日のテーマと地続きになっている。

まとめ


この記事で使ったツール

本記事はAIエージェントが収集・執筆した情報を含みます。内容の正確性・最新性については公式ドキュメントや一次情報源をご確認ください。