LLM はなぜ
回答を断るのか同じ質問でも答えたり断ったりする理由と、業務での確かめ方

停止理由が通常の値で、応答文が断りになっているとき、その文面は 3 つの型のどれかに収まります。型が分かると、03 の方針の層で起きたのか、04 の学習の層で起きたのかの見当が付きます。

1. 全面的な断り。「お手伝いできません」で終わる。学習の層で植え付けられた反応そのものです。
2. 条件つきの回答。「一般論としては」「医療従事者に確認を」と前置きして答える。方針の層で「既定の応じ方」として定められた形です。
3. 言い換えた回答。依頼の一部だけに答え、残りに触れない。役に立つことと害を避けることの綱引き（06）が途中で折り合った形です。

読み方の要点は 2 つです。停止理由が通常の値で、応答文が断りなら、学習の層か方針の層で起きています。言い換え、文脈の追加、システムプロンプトで変わる余地があります。停止理由が介入を示す値なら、分類器の層で起きています。言い換えでは変わらず、事業者側の設定項目（Azure のフィルタの強度、Bedrock のガードレールの定義）か、モデルと事業者の選択で変えることになります。

ヒーローに置いた 2 つの応答は、この違いをそのまま見せています。1 つ目は本体が自分の言葉で断り、2 つ目は本体が答え始めたあとに分類器が出力を止めています。同じ「断られた」でも、直す場所が違います。

InstructGPT（2022）の工程は 3 段です。モデルが出した複数の応答を人間が比較して順位を付け、その順位を当てる報酬モデル (reward model) を作り、報酬が高くなる方向へモデルを調整します。役に立つこと (helpful) と害がないこと (harmless) は別々の評価者・別々のデータで集められ、Anthropic の HH-RLHF（2022）は、この 2 つが綱引きの関係にあることを示しました。片方を強めると、もう片方が下がります。06 の「目的の競合」はここに根があります。

DPO（2023）は報酬モデルを介さず、比較データから直接調整する方法で、オープンモデル（Zephyr、Llama 3）の安全調整に広く使われています。工程は簡単になりますが、植え付けられるものの性質は同じです。

Wei ら（2023）はこの 2 つを提示し、当時の GPT-4 と Claude で、どちらの様式も単独で効き、組み合わせるとさらに効くことを示しました。目的の競合は 04 の評価による調整に根があり、学習が届いていない領域は、事前学習の分布が安全のための学習の分布より広いことに根があります。読者の依頼が通ったり断られたりするのは、言い回しの差が「意味の差」ではなく、この 2 つの様式のどちらかを踏んでいるからです。

Röttger ら（2023）の XSTest は、「Python のプロセスを kill するには」「小説の中で人を殺す描写を」「歴史上の虐殺の経緯」のように、危険な依頼と表面が似ているだけの無害な依頼 250 件を集め、当時の Llama 2 Chat がその多くを断ることを示しました。これが過剰な拒否 (over-refusal) で、05 の事実 2（表面の特徴で発火する）と事実 3（無害と判定しながら断る）の実物です。

Llama 3 の技術報告は、安全の評価を「違反率 (violation rate)」と「誤った拒否率 (false refusal rate)」の 2 軸で測り、境界に近い依頼のデータを学習に混ぜて両方を下げる工程を書いています。ベンダーがモデルの版を上げると断り方が変わるのは、この 2 軸の置き所を動かしているからです。

Anthropic（2025）は、憲法から合成した学習データで入力分類器と出力分類器を作り、Claude の前後に置きました。評価は、無害性の学習を抜いた helpful-only モデル（07）に分類器を付けた構成で行われています。本体の拒否に頼らず、分類器だけでどこまで守れるかを測るための構成で、この層が本体と独立に設計されていることの証拠でもあります。この分類器は Claude Opus 4 の公開時に、生物・化学兵器の領域に絞った形で本番に入りました。02 の stop_reason: "refusal" は、この層が出力を止めたときの返り値です。