Scientific Amnesia in Continual DPO: Why Repeated Post-Training Isn't Self-Improvement

Industrial LLM teams have a standard playbook: ship a model, collect preference data, DPO-train an update, ship again. Repeat. The assumption is that each cycle makes the system better — not just the current checkpoint, but the training process itself. That assumption is wrong. A new paper from Meta AI (Lin et al., 2026) identifies a failure mode they call scientific amnesia: the pipeline successfully executes campaigns, passes checkpoints forward, and improves individual runs while systematically failing to accumulate reusable knowledge about how to train the next campaign. This is not catastrophic forgetting — the model remembers its behaviors. The training system forgets its lessons.

Los equipos de LLM industriales tienen un playbook estándar: shippear un modelo, recolectar datos de preferencia, entrenar una actualización con DPO, shippear de nuevo. Repetir. La suposición es que cada ciclo hace el sistema mejor — no solo el checkpoint actual, sino el proceso de entrenamiento mismo. Esa suposición es incorrecta. Un nuevo paper de Meta AI (Lin et al., 2026) identifica un modo de fallo que llaman amnesia científica: el pipeline ejecuta campañas exitosamente, pasa checkpoints hacia adelante, y mejora ejecuciones individuales mientras falla sistemáticamente en acumular conocimiento reutilizable sobre cómo entrenar la próxima campaña. Esto no es olvido catastrófico — el modelo recuerda sus comportamientos. El sistema de entrenamiento olvida sus lecciones.

The distinction matters. Catastrophic forgetting is the model losing previously learned capabilities — your chatbot stops speaking French after you train it on code. Scientific amnesia is subtler: the model retains its capabilities, but the training pipeline around it keeps making the same mistakes. It rediscovers the same hyperparameters, overfits the same short horizons, and fails to transfer methodological lessons from one campaign to the next. The model gets updated; the system doesn’t get smarter.

La distinción importa. El olvido catastrófico es el modelo perdiendo capacidades previamente aprendidas — tu chatbot deja de hablar francés después de entrenarlo en código. La amnesia científica es más sutil: el modelo retiene sus capacidades, pero el pipeline de entrenamiento a su alrededor sigue cometiendo los mismos errores. Redescubre los mismos hiperparámetros, sobreajusta los mismos horizontes cortos, y no transfiere lecciones metodológicas de una campaña a la siguiente. El modelo se actualiza; el sistema no se vuelve más inteligente.

The Diagnostic Suite

El Suite de Diagnóstico

Lin et al. build the infrastructure needed to measure this failure mode. Their diagnostic suite includes five metrics that probe different aspects of scientific amnesia:

Lin et al. construyen la infraestructura necesaria para medir este modo de fallo. Su suite de diagnóstico incluye cinco métricas que exploran diferentes aspectos de la amnesia científica:

Repeated-failure rate — Does the system repeat known bad strategies? If campaign 3 uses the same configuration that failed in campaign 1, that’s amnesia. Regret slope — Does error accumulate across campaigns? A positive slope means the pipeline is getting worse at choosing strategies over time, not better. Transfer decay — Do strategies that worked for one domain stop working when transferred to related campaigns? This measures whether the system generalizes methodological knowledge. Hyperparameter-rediscovery cost — How many trials does it take to find a strategy that was already validated earlier? High cost means the pipeline is re-learning instead of remembering. Curriculum sensitivity — Does changing the order of campaigns change the final outcome? If so, the pipeline is not learning a robust training strategy independent of sequence.

Tasa de fallo repetido — ¿El sistema repite estrategias malas conocidas? Si la campaña 3 usa la misma configuración que falló en la campaña 1, eso es amnesia. Pendiente de regret — ¿El error se acumula entre campañas? Una pendiente positiva significa que el pipeline se pone peor en elegir estrategias con el tiempo, no mejor. Decaimiento de transferencia — ¿Las estrategias que funcionaron para un dominio dejan de funcionar al transferirse a campañas relacionadas? Esto mide si el sistema generaliza conocimiento metodológico. Costo de re-descubrimiento de hiperparámetros — ¿Cuántos trials toma encontrar una estrategia que ya fue validada antes? Alto costo significa que el pipeline está reaprendiendo en vez de recordar. Sensibilidad al currículo — ¿Cambiar el orden de las campañas cambia el resultado final? Si es así, el pipeline no está aprendiendo una estrategia de entrenamiento robusta independiente de la secuencia.

Together, these five diagnostics test whether a continual-DPO pipeline is genuinely self-improving — or merely cycling through updates without accumulating institutional knowledge.

Juntas, estas cinco métricas evalúan si un pipeline de DPO continuo es genuinamente auto-mejorable — o simplemente ciclando a través de actualizaciones sin acumular conocimiento institucional.

The Pipeline: Real Checkpoints, Real Models

El Pipeline: Checkpoints Reales, Modelos Reales

This isn’t a toy experiment. The team built MAST (Meta-scientific Adaptive Strategy Tuning), a production-like pipeline that chains FSDP-sharded DPO checkpoints across Qwen2.5-7B-Instruct runs. Each campaign step is a real training job. The output checkpoint from campaign t becomes the initialization for campaign t+1 — exactly how industrial teams ship model updates. The pipeline implements a closed loop: propose a strategy → generate preference pairs → DPO-train → evaluate → update memory. With 290+ unit tests and 20/20 completed real-LM jobs, the infrastructure itself is a contribution.

Esto no es un experimento de juguete. El equipo construyó MAST (Meta-scientific Adaptive Strategy Tuning), un pipeline similar a producción que encadena checkpoints DPO shardizados por FSDP a través de runs de Qwen2.5-7B-Instruct. Cada paso de campaña es un job de entrenamiento real. El checkpoint de salida de la campaña t se convierte en la inicialización para la campaña t+1 — exactamente cómo los equipos industriales shippean actualizaciones de modelos. El pipeline implementa un bucle cerrado: proponer estrategia → generar pares de preferencia → entrenar con DPO → evaluar → actualizar memoria. Con más de 290 tests unitarios y 20/20 jobs real-LM completados, la infraestructura misma es una contribución.

The benchmark is a 30-campaign HumanEval subdomain suite, partitioned across four domain families (control, numeric, strings, control-flow) and three difficulty levels. Each campaign has disjoint train/eval splits — no data leakage between steps.

El benchmark es un suite de 30 campañas de subdominios de HumanEval, particionado en cuatro familias de dominio (control, numérico, strings, control-flow) y tres niveles de dificultad. Cada campaña tiene splits de train/eval disjuntos — sin fuga de datos entre pasos.

Five Strategy Proposers, One Finding

Cinco Proponedores de Estrategia, Un Hallazgo

The team compared five candidates under the same pipeline. Crucially, none was treated as the solution — each was a mechanism to be diagnosed:

El equipo comparó cinco candidatos bajo el mismo pipeline. Crucialmente, ninguno fue tratado como la solución — cada uno fue un mecanismo a diagnosticar:

Random Memory — Uniformly samples strategies. A control condition: can arbitrary exploration prevent amnesia? Rule-based — A fixed conservative schedule: β decays 10%, learning rate grows 1.15× per campaign. No learning from outcomes — just smooth parameter progression. Retrieval-only — Retrieves similar past campaigns and reuses the best in-domain prior strategy. Tests whether history alone is enough. Warm-start BO — UCB-style Bayesian optimization over observed strategies. A standard hyperparameter-optimization baseline lifted into the campaign sequence. MSCL Reasoner — The most expressive candidate: triple-scale memory (short/mid/long-term) plus a small reasoner LM trained with Scientific DPO and EWC regularization. Proposes strategies with natural-language rationales.

Memoria Aleatoria — Muestrea estrategias uniformemente. Una condición de control: ¿puede la exploración arbitraria prevenir la amnesia? Basado en reglas — Un schedule conservador fijo: β decae 10%, learning rate crece 1.15× por campaña. Sin aprendizaje de resultados — solo progresión suave de parámetros. Solo recuperación — Recupera campañas pasadas similares y reutiliza la mejor estrategia previa en-dominio. Prueba si la historia sola es suficiente. BO con warm-start — Optimización Bayesiana estilo UCB sobre estrategias observadas. Un baseline estándar de optimización de hiperparámetros elevado a la secuencia de campañas. Razonador MSCL — El candidato más expresivo: memoria de triple escala (corto/mediano/largo plazo) más un LM razonador pequeño entrenado con DPO Científico y regularización EWC. Propone estrategias con rationales en lenguaje natural.

The headline result is striking. In a homogeneous 3-step real-LM chain, 4 out of 5 candidates degrade in peak pass@1 from step 0 to step 2 (Δ ∈ {−0.062, −0.125}). MSCL — the most sophisticated candidate — achieves the highest step-0 peak (0.688) but fails to exceed it in later steps (Δ = −0.062). Only the deliberately conservative rule-based schedule improves (Δ = +0.125). The most complex solution didn’t win. The simplest one did.

El resultado principal es llamativo. En una cadena real-LM homogénea de 3 pasos, 4 de 5 candidatos degradan en peak pass@1 del paso 0 al paso 2 (Δ ∈ {−0.062, −0.125}). MSCL — el candidato más sofisticado — alcanza el peak más alto en paso 0 (0.688) pero no lo supera en pasos posteriores (Δ = −0.062). Solo el schedule conservador deliberadamente basado en reglas mejora (Δ = +0.125). La solución más compleja no ganó. La más simple sí.

Why Regime Matters

Por Qué Importa el Régimen

The paper’s honesty about its findings is itself notable. The authors ran follow-up experiments that qualified rather than overturned the main result. In a heterogeneous chain crossing domain families (control → numeric → strings), MSCL was the only completed candidate that improved — reversing the homogeneous-chain ranking. In a small multi-seed homogeneous sweep, retrieval-only had the best mean Δ, but no pairwise candidate gap was statistically distinguishable with n ≤ 3 seeds.

La honestidad del paper sobre sus hallazgos es notable por sí misma. Los autores corrieron experimentos de seguimiento que cualificaron en vez de overturnar el resultado principal. En una cadena heterogénea cruzando familias de dominio (control → numérico → strings), MSCL fue el único candidato completado que mejoró — invirtiendo el ranking de la cadena homogénea. En un barrido homogéneo pequeño multi-seed, retrieval-only tuvo el mejor Δ promedio, pero ningún gap pairwise entre candidatos fue estadísticamente distinguible con n ≤ 3 seeds.

The takeaway is structural: conclusions about interventions depend sharply on chain regime, evaluator design, and seed coverage. There is no universal “best strategy proposer” — only regime-appropriate ones. This is a diagnostic contribution, not an optimizer claim.

La conclusión es estructural: las conclusiones sobre intervenciones dependen agudamente del régimen de cadena, diseño del evaluador, y cobertura de seeds. No hay un “mejor proponente de estrategia” universal — solo los apropiados al régimen. Esta es una contribución diagnóstica, no una claim de optimizador.

Four Empirical Patterns

Cuatro Patrones Empíricos

The results highlight four practical patterns for anyone running continual post-training in production:

Los resultados destacan cuatro patrones prácticos para cualquiera corriendo post-entrenamiento continuo en producción:

Curriculum order matters. In the heterogeneous chain, moving from control_easy to numeric_easy to strings_easy changed which strategy proposers transferred. Easier-to-harder sequencing shapes continual-DPO outcomes, but in a regime-dependent way. Conservative schedules outperform reactive ones in short chains. The rule-based β-decay and learning-rate-warmup schedule is the only proposer that improves across the homogeneous chain — smooth parameter progression beats more reactive adaptation when chains are short. Retrieval-only transfer is a strong baseline. The multi-seed sweep favors reusing the best prior recipe from a similar campaign. Simple cross-campaign “data recipe transfer” competes with far more complex approaches. Peak performance ≠ transfer capability. MSCL achieves the highest step-0 peak but fails to preserve that advantage. Single-campaign optimization and cross-campaign composability are different objectives. Optimizing for one can hurt the other.

El orden del currículo importa. En la cadena heterogénea, moverse de control_easy a numérico_easy a strings_easy cambió qué proponentes de estrategia transferían. La secuenciación de fácil a difícil moldea los resultados de DPO continuo, pero de forma dependiente del régimen. Los schedules conservadores superan a los reactivos en cadenas cortas. El schedule basado en reglas con decaimiento de β y warmup de learning rate es el único proponente que mejora a través de la cadena homogénea — la progresión suave de parámetros supera a la adaptación reactiva cuando las cadenas son cortas. La transferencia solo por recuperación es un baseline fuerte. El barrido multi-seed favorece reutilizar la mejor receta previa de una campaña similar. La simple “transferencia de receta de datos” entre campañas compite con enfoques mucho más complejos. Rendimiento peak ≠ capacidad de transferencia. MSCL alcanza el peak más alto en paso 0 pero no preserva esa ventaja. La optimización de campaña individual y la componibilidad entre campañas son objetivos diferentes. Optimizar para uno puede dañar al otro.

What This Means for Agentic Systems

Qué Significa Esto para Sistemas Agénticos

The implications extend beyond LLM post-training to any system that loops through improvement cycles. If your agent pipeline retrains or fine-tunes models as part of its operation, scientific amnesia is a real risk. The diagnostic framework applies: are you tracking whether each training cycle makes the next cycle easier, or only whether it improves the current checkpoint?

Las implicaciones se extienden más allá del post-entrenamiento de LLM a cualquier sistema que recorra ciclos de mejora. Si tu pipeline agéntico reentrena o hace fine-tuning de modelos como parte de su operación, la amnesia científica es un riesgo real. El marco de diagnóstico aplica: ¿estás rastreando si cada ciclo de entrenamiento hace el ciclo siguiente más fácil, o solo si mejora el checkpoint actual?

The paper’s recommendation is practical: evaluate continual post-training at the chain level, not just the campaign level. Track rediscovery cost, transfer decay, regret growth, and curriculum sensitivity alongside ordinary per-campaign metrics. A pipeline that successfully updates models without accumulating training knowledge is not self-improving — it’s just busy.

La recomendación del paper es práctica: evalúa el post-entrenamiento continuo al nivel de cadena, no solo al nivel de campaña. Rastrea el costo de re-descubrimiento, decaimiento de transferencia, crecimiento de regret y sensibilidad al currículo junto a las métricas ordinarias por campaña. Un pipeline que actualiza modelos exitosamente sin acumular conocimiento de entrenamiento no se está auto-mejorando — solo está ocupado.

References

Referencias