Purified OPSD: Fixing Self-Distillation for Long Chain-of-Thought Models

On-policy self-distillation (OPSD) should be a win for LLM reasoning. The student generates its own reasoning trajectories, a privileged teacher with access to the reference solution provides token-level supervision, and the student learns from its own mistakes. It works for standard models. But for long chain-of-thought (long-CoT) reasoning models — the ones that think deeply, reflect, and self-correct — OPSD consistently fails. A new paper from Zhejiang University and Alibaba’s Tongyi Lab (Shen et al., 2026) explains why: the teacher’s supervision is dominated by a reference-induced component that drives rote memorization of reference-specific shortcuts, while the question-conditioned, inference-transferable signal is ignored or actively opposed. Their solution — Purified OPSD — uses a reference-only teacher and pointwise mutual information to isolate and distill only the transferable correction.

La auto-destilación on-policy (OPSD) debería ser una victoria para el razonamiento con LLMs. El estudiante genera sus propias trayectorias de razonamiento, un profesor privilegiado con acceso a la solución de referencia proporciona supervisión a nivel de token, y el estudiante aprende de sus propios errores. Funciona para modelos estándar. Pero para modelos de razonamiento long chain-of-thought (long-CoT) — los que piensan profundamente, reflexionan y se auto-corrijen — OPSD falla consistentemente. Un nuevo paper de la Universidad de Zhejiang y el Tongyi Lab de Alibaba (Shen et al., 2026) explica por qué: la supervisión del profesor está dominada por un componente inducido por la referencia que impulsa la memorización de atajos específicos de la referencia, mientras que la señal condicionada por la pregunta y transferible a inferencia es ignorada o activamente opuesta. Su solución — OPSD Purificado — usa un profesor solo-referencia e información mutua puntual para aislar y destilar solo la corrección transferible.

The Failure: OPSD Breaks Reflective Reasoning

El Fallo: OPSD Rompe el Razonamiento Reflexivo

The team applied standard OPSD to four long-CoT models — Qwen3-8B, Qwen3-4B, DeepSeek-R1-Distill-Qwen-7B, and OLMo-7B-Thinking — using Math-CoT-20K with reference solutions as privileged information. The results were uniformly poor: OPSD provided at best marginal, short-lived gains, and often degraded performance outright. This isn’t a tuning issue — concurrent works from other research groups report the same pattern.

El equipo aplicó OPSD estándar a cuatro modelos long-CoT — Qwen3-8B, Qwen3-4B, DeepSeek-R1-Distill-Qwen-7B, y OLMo-7B-Thinking — usando Math-CoT-20K con soluciones de referencia como información privilegiada. Los resultados fueron uniformemente pobres: OPSD proporcionó en el mejor de los casos ganancias marginales y de corta duración, y a menudo degradó el rendimiento directamente. Esto no es un problema de ajuste — trabajos concurrentes de otros grupos de investigación reportan el mismo patrón.

The diagnostic clue came from tracking epistemic markers — tokens like “Wait”, “Let me think”, “Perhaps”, and “Maybe” that indicate uncertainty externalization and reflective reasoning. These markers are central to long-CoT models’ generalization ability. During OPSD training, they exhibited violent, erratic fluctuations. On Qwen3-8B, the total marker count collapsed uniformly. On R1-Distill-Qwen-7B, the count exploded — but the increase was concentrated almost entirely on the single token “Wait” (from 34K to 83K), while other markers decreased. This isn’t genuine deliberation; it’s degenerate repetition. The privileged teacher, already knowing the answer, has no need to reflect, explore, or self-correct. Instead of providing selective, beneficial corrections, it drives the student toward rote memorization of the reference’s reasoning path.

La pista diagnóstica vino de rastrear marcadores epistémicos — tokens como “Wait”, “Let me think”, “Perhaps”, y “Maybe” que indican externalización de incertidumbre y razonamiento reflexivo. Estos marcadores son centrales para la capacidad de generalización de los modelos long-CoT. Durante el entrenamiento OPSD, exhibieron fluctuaciones violentas y erráticas. En Qwen3-8B, el conteo total de marcadores colapsó uniformemente. En R1-Distill-Qwen-7B, el conteo explotó — pero el aumento se concentró casi enteramente en el token “Wait” (de 34K a 83K), mientras otros marcadores disminuyeron. Esto no es deliberación genuina; es repetición degenerativa. El profesor privilegiado, ya conociendo la respuesta, no necesita reflexionar, explorar, o auto-corregirse. En vez de proporcionar correcciones selectivas y beneficiosas, impulsa al estudiante hacia la memorización de la trayectoria de razonamiento de la referencia.

The Diagnosis: Decomposing the Teacher's Signal

El Diagnóstico: Descomponiendo la Señal del Profesor

The key insight is a decomposition of the teacher’s supervision signal. The team constructed a reference-only teacher — the same model conditioned on the reference solution without the question. This enables splitting the teacher’s total update into two components:

La idea clave es una descomposición de la señal de supervisión del profesor. El equipo construyó un profesor solo-referencia — el mismo modelo condicionado a la solución de referencia sin la pregunta. Esto permite dividir la actualización total del profesor en dos componentes:

Reference-induced (Δref) — The supervision that exists even without the question. This captures information the student will never have access to during inference. Inference-transferable (Δit) — The residual after subtracting the reference-induced component. This captures supervision that depends on understanding the problem and would remain useful at inference time when no reference is available.

Inducido por referencia (Δref) — La supervisión que existe incluso sin la pregunta. Esto captura información que el estudiante nunca tendrá disponible durante inferencia. Transferible a inferencia (Δit) — El residual después de restar el componente inducido por referencia. Esto captura supervisión que depende de entender el problema y permanecería útil en inferencia cuando no hay referencia disponible.

If OPSD were working as intended, the total update should align primarily with the inference-transferable component. The measurements show the opposite. The reference-induced component dominates both the direction (cosine similarity with the total update remains high throughout training) and the magnitude (the reference-induced norm consistently exceeds the total update norm, meaning the inference-transferable component partially cancels it rather than reinforcing it). The teacher persistently pulls the student toward the reference rather than toward question-conditioned reasoning.

Si OPSD estuviera funcionando como se pretende, la actualización total debería alinearse principalmente con el componente transferible a inferencia. Las mediciones muestran lo opuesto. El componente inducido por referencia domina tanto la dirección (la similitud coseno con la actualización total permanece alta durante todo el entrenamiento) como la magnitud (la norma inducida por referencia excede consistentemente la norma de actualización total, significando que el componente transferible a inferencia la cancela parcialmente en vez de reforzarla). El profesor jala persistentemente al estudiante hacia la referencia en vez de hacia el razonamiento condicionado por la pregunta.

An interesting dynamic emerges over training: the inference-transferable signal partially recovers as reference memorization saturates. Once the student absorbs the reference signal, the update along Δref diminishes, and the residual Δit becomes relatively more visible. But this recovery doesn’t translate into performance improvement — the damage from early reference memorization has already destabilized the model’s reasoning capability.

Una dinámica interesante emerge durante el entrenamiento: la señal transferible a inferencia se recupera parcialmente a medida que la memorización de referencia satura. Una vez que el estudiante absorbe la señal de referencia, la actualización a lo largo de Δref disminuye, y el residual Δit se vuelve relativamente más visible. Pero esta recuperación no se traduce en mejora de rendimiento — el daño de la memorización temprana de referencia ya ha desestabilizado la capacidad de razonamiento del modelo.

The Solution: PMI Target from the Residual

La Solución: Objetivo PMI del Residual

The diagnosis points directly to the fix. The reference-only teacher serves as a precise probe for the non-transferable component. The residual Δit = log πT − log πref captures the question-conditioned correction we want the student to learn. But this residual is a per-token log-probability difference, not a distribution the student can directly distill from.

El diagnóstico apunta directamente a la solución. El profesor solo-referencia sirve como sonda precisa para el componente no transferible. El residual Δit = log πT − log πref captura la corrección condicionada por la pregunta que queremos que el estudiante aprenda. Pero este residual es una diferencia de log-probabilidad por token, no una distribución de la cual el estudiante pueda destilar directamente.

The team uses pointwise mutual information (PMI) — a classical tool from information theory — to transform this residual into a well-formed target distribution. The PMI target is constructed by anchoring the question-conditioned residual onto the clean base model distribution (conditioned on the question but not the reference):

El equipo usa información mutua puntual (PMI) — una herramienta clásica de teoría de información — para transformar este residual en una distribución objetivo bien formada. El objetivo PMI se construye anclando el residual condicionado por la pregunta en la distribución limpia del modelo base (condicionada a la pregunta pero no a la referencia):

PPMI(v) ∝ P0(v) · exp(1/β · Δit(v))

PPMI(v) ∝ P0(v) · exp(1/β · Δit(v))

where P0 is the clean base distribution, β controls correction strength, and Δit is the inference-transferable residual. This isn’t a heuristic normalization — it’s the closed-form optimal distribution under a KL-regularized distillation objective, the same mathematical structure underlying DPO. The PMI target starts from P0 (free of reference contamination) and adjusts it by the question-conditioned residual. When β = 1, the full correction is applied; larger β yields a more conservative target closer to the base distribution.

donde P0 es la distribución base limpia, β controla la fuerza de corrección, y Δit es el residual transferible a inferencia. Esto no es una normalización heurística — es la distribución óptima de forma cerrada bajo un objetivo de destilación regularizado por KL, la misma estructura matemática subyacente a DPO. El objetivo PMI parte de P0 (libre de contaminación de referencia) y lo ajusta por el residual condicionado por la pregunta. Cuando β = 1, se aplica la corrección completa; β más grande produce un objetivo más conservador más cercano a la distribución base.

The implementation requires three forward passes through the same frozen base model (teacher with question+reference, reference probe with reference only, base with question only) plus the student’s own forward pass. The raw PMI signal is centered (vocabulary-level mean subtraction for numerical stability), soft-clipped (tanh-based bounding to handle extreme values), and normalized into the target distribution. The computational overhead is less than 10% wall-clock time increase — no additional trainable parameters, no backpropagation through the frozen-model passes.

La implementación requiere tres pasadas hacia adelante a través del mismo modelo base congelado (profesor con pregunta+referencia, sonda de referencia con solo referencia, base con solo pregunta) más la pasada del estudiante. La señal PMI cruda se centra (sustracción de media a nivel de vocabulario para estabilidad numérica), se recorta suavemente (acotamiento basado en tanh para manejar valores extremos), y se normaliza en la distribución objetivo. El overhead computacional es menos del 10% de aumento en tiempo wall-clock — sin parámetros entrenables adicionales, sin backpropagation a través de las pasadas del modelo congelado.

Results: Consistent Gains Across Four Models

Resultados: Ganancias Consistentes en Cuatro Modelos

The team evaluated on AIME 2024, AIME 2025, and HMMT 2025 — challenging mathematical reasoning benchmarks — using two training datasets (DASD-10K and Math-CoT-20K). All scores are 12-run averages. Three findings stand out:

El equipo evaluó en AIME 2024, AIME 2025, y HMMT 2025 — benchmarks desafiantes de razonamiento matemático — usando dos datasets de entrenamiento (DASD-10K y Math-CoT-20K). Todos los scores son promedios de 12 ejecuciones. Tres hallazgos destacan:

Standard OPSD fails. On DASD-10K, OPSD-Standard degrades performance on three of four models. On Math-CoT-20K, it provides a marginal gain on Qwen3-8B but degrades the other three, with OLMo-7B suffering the largest drop. The reference-induced supervision dominance translates directly into practical failure. Purified OPSD consistently improves. OPSD-PMI achieves gains on every model-dataset combination. On Qwen3-8B with DASD-10K, average accuracy jumps from 61.8 (base) to 66.0 — a 4.2-point gain where standard OPSD actually degraded performance to 60.9. On OLMo-7B with DASD-10K, the gain is from 61.3 to 63.2, recovering from standard OPSD’s drop to 59.8. Reflective reasoning is preserved. While standard OPSD causes violent fluctuations in epistemic markers (collapse on Qwen3-8B, degenerate “Wait” explosion on R1-Distill-7B), OPSD-PMI preserves the models’ natural epistemic behavior throughout training. The marker distribution remains stable — the model keeps its ability to think independently.

OPSD estándar falla. En DASD-10K, OPSD-Standard degrada el rendimiento en tres de cuatro modelos. En Math-CoT-20K, proporciona una ganancia marginal en Qwen3-8B pero degrada los otros tres, con OLMo-7B sufriendo la caída más grande. La dominancia de supervisión inducida por referencia se traduce directamente en fallo práctico. OPSD Purificado mejora consistentemente. OPSD-PMI logra ganancias en cada combinación modelo-dataset. En Qwen3-8B con DASD-10K, la precisión promedio salta de 61.8 (base) a 66.0 — una ganancia de 4.2 puntos donde OPSD estándar realmente degradó el rendimiento a 60.9. En OLMo-7B con DASD-10K, la ganancia es de 61.3 a 63.2, recuperándose de la caída de OPSD estándar a 59.8. El razonamiento reflexivo se preserva. Mientras que OPSD estándar causa fluctuaciones violentas en marcadores epistémicos (colapso en Qwen3-8B, explosión degenerativa de “Wait” en R1-Distill-7B), OPSD-PMI preserva el comportamiento epistémico natural de los modelos durante el entrenamiento. La distribución de marcadores permanece estable — el modelo mantiene su capacidad de pensar independientemente.

Why This Matters

Por Qué Esto Importa

The paper reveals a structural problem in how we distill reasoning into LLMs. When the teacher has privileged access to the answer, its supervision signal is contaminated by information the student can never use at inference time. This contamination doesn’t just fail to help — it actively harms by driving the model toward memorization of reference-specific shortcuts at the expense of genuine reasoning capability. The decomposition into reference-induced and inference-transferable components provides a principled way to separate “what to memorize” from “what to learn.”

El paper revela un problema estructural en cómo destilamos razonamiento en LLMs. Cuando el profesor tiene acceso privilegiado a la respuesta, su señal de supervisión está contaminada por información que el estudiante nunca podrá usar en tiempo de inferencia. Esta contaminación no solo no ayuda — daña activamente impulsando al modelo hacia la memorización de atajos específicos de referencia a expensas de la capacidad de razonamiento genuina. La descomposición en componentes inducidos por referencia y transferibles a inferencia proporciona una forma principiada de separar “qué memorizar” de “qué aprender.”

The PMI target is elegant because it’s not a heuristic — it’s the optimal KL-regularized target distribution induced by the inference-transferable reward. The connection to DPO’s mathematical structure is not accidental: both derive from the same Lagrangian optimization, just applied at different levels (token-level distillation vs. sequence-level preference optimization). The less-than-10% computational overhead makes this practical for production training pipelines.

El objetivo PMI es elegante porque no es una heurística — es la distribución objetivo regularizada por KL óptima inducida por la recompensa transferible a inferencia. La conexión con la estructura matemática de DPO no es accidental: ambas derivan de la misma optimización Lagrangiana, solo aplicada a diferentes niveles (destilación a nivel de token vs. optimización de preferencia a nivel de secuencia). El overhead computacional de menos del 10% hace esto práctico para pipelines de entrenamiento en producción.

For anyone building reasoning models, the lesson is clear: privileged supervision is a double-edged sword. The teacher’s access to the reference solution provides signal, but that signal is dominated by information that doesn’t transfer. Purifying the supervision — isolating only the question-conditioned, inference-transferable correction — turns a technique that actively harms long-CoT models into one that consistently improves them while preserving their ability to think.

Para cualquiera construyendo modelos de razonamiento, la lección es clara: la supervisión privilegiada es una espada de doble filo. El acceso del profesor a la solución de referencia proporciona señal, pero esa señal está dominada por información que no transfiere. Purificar la supervisión — aislar solo la corrección condicionada por la pregunta y transferible a inferencia — convierte una técnica que daña activamente a los modelos long-CoT en una que los mejora consistentemente mientras preserva su capacidad de pensar.

References

Referencias