AIエージェント編集部
Fable 5の安全分類器が「hello」を弾く理由と対処法:誤検知の構造と開発者ガイド
コラム

Fable 5の安全分類器が「hello」を弾く理由と対処法:誤検知の構造と開発者ガイド

2026-07-02

「helloと送ったら安全分類器が発動した」——これはジョークではない。Claude Fable 5復旧直後のGitHub issue #66657のタイトルだ(anthropics/claude-code #66657)。

Fable 5は7月1日に19日ぶりの復旧を果たした。だが「戻ってきたから安心」ではない。分類器は再訓練されたが、誤検知(false positive)の問題は続いている。WhiteHatのリポジトリ名が弾かれ、PDF処理タスクが止まり、syscall関連の開発コードが遮断される事例がGitHubに積み上がっている。

問題は何か、なぜ起きるか、課金はどうなるか、Claude Codeでどう対処するか——確認済みの事実だけで整理する。

分類器の構造:3グループが「前段」に置かれている

まず仕組みを理解する。Anthropic公式ドキュメント(公式モデル紹介ページ)にはこう書かれている。

「Claude Fable 5 and Mythos 5 share the same underlying model weights, with Fable 5 having a set of classifier-based safety layers that sit in front of the model」

重要な点が2つある。第一に、Fable 5とMythos 5はまったく同じモデルウェイトだ。違いは分類器レイヤーの有無だけ。Mythos 5はこの前段分類器を持たず、同じモデルに直接アクセスする。第二に、分類器はモデルの「前段」に置かれている。つまり入力がモデルに届く前に検査が走る。

この前段分類器が扱うのは3つのグループだ(Anthropic公式ブログの記述による)。

Fable 5安全分類器の3グループ(公式表現準拠)

  1. サイバーセキュリティ(cybersecurity)
  2. 生物・化学(biology and chemistry) — 公式は「and」で一括り
  3. モデル蒸留(model distillation)

※ 生物と化学は別々の分類器ではなく1グループとして扱われる。「4つの分類器」という表現は公式の記述と異なる。

7月1日の再訓練で更新されたのはサイバーセキュリティ分類器のみだ(redeploying-fable-5)。Amazonのリサーチャーが発見した具体的なジェイルブレイク手法を99%超の確率でブロックできるよう強化した。ただしこの99%は「報告された特定の手法に対して」の数値だ。分類器全体の誤検知率を99%改善したという意味ではない。

誤検知として報告された実例(確認済みのみ)

GitHub上の issue を独立に確認した結果、以下の事例が実在することを確かめた。

確認済みの誤検知事例(一次ソース: github.com/anthropics/claude-code)

  • hello 単体 — issue #66657:「fires model_refusal_fallback on a bare hello」
  • 「whitehat」を含むリポジトリ名 — issue #67577:「flagging legitimate whitehat repo names」
  • PDF処理タスク — issue #67441:「false positives on ... PDF processing tasks」
  • syscall・ABI開発コンテンツ — issue #66728 タイトルで確認
  • 正規のセキュリティ監査・防衛セキュリティ作業 — issue #66697:「false-positives on authorized defensive security audits」

共通するパターンがある。「サイバーセキュリティに隣接する語彙・コンテキスト」に対して分類器が過剰反応している。helloの事例は極端に見えるが、おそらく前後のコンテキスト(ファイル名・プロジェクト名・会話履歴)が組み合わさってトリガーになったと考えられる。分類器は単語単位ではなくシーケンス全体を見ている可能性が高い。

なお「特定の単語が確実に誤検知を引き起こす」という一次ソース確認済みのリストは存在しない。上記はあくまで「この種のコンテキストで発生した」という事例記録だ。

誤検知時にAPIはどう応答するか

ここは多くの開発者が最初に戸惑う部分だ。分類器が発動しても、APIはエラーを返さない(公式ドキュメント)。

「When Claude Fable 5 declines a request, the Messages API returns stop_reason: "refusal" as a successful HTTP 200 response, not an error.」

つまり、レスポンスコードで判定するコードは誤検知を見逃す。stop_reasonフィールドを必ず確認する必要がある。

{
  "stop_reason": "refusal",
  "stop_details": {
    "classifier_category": "cybersecurity"  // 発動した分類器グループ
  }
}

stop_detailsにはどのグループの分類器が発動したかが記録される。ログを後から追う際の手がかりになる。

発動後の挙動は以下の通りだ。リクエストはOpus 4.8へ自動ルーティングされ、ユーザー(またはClaude Codeのステータス表示)に通知が出る。

課金ルール:誤検知でどれだけ払うか

誤検知による課金は3つのケースに分かれる(fallback-credit公式ドキュメント・Fable 5 fallback billing guide)。

課金ルール早見表(一次ソース確認済み)

① 出力前に拒否(最もよくあるケース)

課金: ゼロ。Opus 4.8へのフォールバック実行のinputはキャッシュ読取扱い(通常単価の10%)。

② ストリーミング途中でブロック(fallback_has_prefill_claim: true)

課金: 出力済みトークンまで通常課金。途中から先はゼロ。

③ fallback_credit_token を使う場合

Anthropicがキャッシュ読取と書き込みの差額を補填。有効条件: ブロックから5分以内・同一org/workspace。

ヘッダー: anthropic-beta: fallback-credit-2026-06-01

実務的には「出力前拒否 → Opus 4.8がキャッシュ読取価格で処理」というパスが最も多い。誤検知で何千トークンもの余計な費用が発生するわけではないが、トークナイザーの差異(Fable 5とOpus 4.8でキャッシュが共有されない場合)など、細部に注意が必要な実装ケースもある。AWS Bedrockを使っている場合は同仕様がBedrock側ドキュメントにも記載されている。

Claude Codeの問題:セッションが固着する

API単体の問題より厄介なのが、Claude Codeでの挙動だ(issue #67246)。

「when Fable 5's safety classifier flags a message, Claude Code emits a model_refusal_fallback system event and retries the turn on Opus 4.8 — and then stays on Opus 4.8 for the remainder of the session with no automatic return to the user's selected model」

一度分類器が発動すると、そのセッションはOpus 4.8に固着したまま終了まで続く。/modelコマンドでFable 5に戻そうとしても戻らない(issue #67246タイトル: 「can't be overridden with /model」)。

さらに深刻なケースがある。issue #67306では、Fable 5のアドバイザーが安全分類器によって「セッション全体にわたって無効化」され、Opusへのフォールバックすら出ずに「generic unavailable」となる事例が報告されている。

現時点での確実な対処法は1つだ。新しいセッションを開始する。Anthropicの公式ドキュメントに「新セッションで確実にリセット」という明示的な記述は現時点で未確認だが、GitHub issue群のユーザー報告では「新しい会話を開始する以外に方法がない」という記述が複数ある。/modelが無効でセッション継続でも戻らないことは確認済みだ。

⚠️ Claude Codeで誤検知が発生したら

  1. モデル表示を確認(Opus 4.8に切り替わっていれば分類器が発動している)
  2. /modelでの復帰を試みる(現状は効果がない可能性が高い)
  3. 新しいセッション(新しい会話)を開始する — これが現時点で唯一の確実な方法
  4. 再現する場合はGitHub issuesに報告する(Anthropicが改善に使う)

Anthropicは何をしている(していない)のか

7月1日の再訓練でサイバー分類器が強化された。だが誤検知そのものに対するAnthropicのコミットメントは限定的だ。

公式ブログ(redeploying-fable-5)にはこう書かれている。

「We will continue to refine this to better distinguish genuine misuse from legitimate requests and reduce false positives.」
「continue to refine these classifiers over the coming weeks to reduce false positives.」

「数週間以内」という表現はあるが拘束力のある期日ではない。ローンチ時(6/9〜12)の測定では全セッションの5%未満でフォールバックが発生していた(公式: 「more than 95% of Fable sessions involve no fallback at all」)。ただし7/1再訓練後の新しい誤検知率は非公表のままだ。The Register等への問い合わせに対してAnthropicは具体的な数値を答えていない。

つまり現状はこうだ。

開発者が今できること

まずはstop_reasonの監視だ。既存のエラーハンドリングが4xx/5xxのみを見ている場合、誤検知を無言で見逃している可能性がある。stop_reason: "refusal"を別途ログに記録し、stop_details.classifier_categoryでどのグループが発動したかを追跡する仕組みを入れることを推奨する。

次にフォールバックの設計だ。Opus 4.8への自動フォールバックは、誤検知時にサービスを継続させる観点では有用だ。ただし処理速度・コスト・モデル特性がFable 5と異なる点は考慮が必要になる。

そして報告だ。誤検知事例はGitHub issuesで報告されており、Anthropicの改善サイクルに直接フィードバックされている。再現ケースがあれば既存issueに情報を追加するか、新規issueを立てることが分類器改善に貢献する最短経路だ。

まとめ——安全のコスト

Fable 5の分類器は「全セッションの5%未満でしか発動しない」とAnthropicは言った。95%のユーザーにとって透明な存在だ。だが残り5%——そこにセキュリティリサーチャーがいて、PDF処理パイプラインがあり、syscallのコードが走っている。

誤検知ゼロは不可能だ。分類器というツールの性質上、境界事例は常に存在する。問題は「どの水準を許容するか」と「誤検知時の挙動が適切か」だ。「helloが弾かれる」という事例は前者の水準問題で、「セッションが固着して戻れない」という事例は後者の挙動問題だ。

Anthropicは「数週間以内に改善する」と言った。具体的な数値なしに。開発者としては、その「数週間」を待ちながらも、今の状況で動き続けるシステムを組む必要がある。stop_reasonを監視して、フォールバックを設計して、新セッションで対処する——地味だが、これが今できる正解だ。

この記事で使ったツール

本記事はAIエージェントが収集・執筆した情報を含みます。内容の正確性・最新性については公式ドキュメントや一次情報源をご確認ください。