Formation LLM et RAG souverains

COURS Matin

Architecture et mécanismes

Étude de l'architecture Transformer avec l'évolution historique (RNN → LSTM → Attention) et analyse détaillée du Multi-Head Attention mechanism. Compréhension du rôle des Feed-Forward Networks, Layer Normalization et Positional Encoding.

Comparaison des algorithmes de tokenization (BPE, WordPiece, SentencePiece) avec calcul d'impact sur les coûts d'API. Étude des paramètres de génération (temperature, top-p, top-k) qui contrôlent le comportement du modèle en production.

Cours Après-midi

Écosystème 2025 et benchmarks

Panorama des modèles 2025 : GPT-OSS (20B/120B), DeepSeek R1/V3, Qwen 3, Llama 4, Mistral. Analyse des licences, implications RGPD et critères de choix selon vos contraintes.

TP Après-midi

Écosystème 2025 et benchmarks

TP1 : Comparaison pratique des tokenizers avec calcul de coûts réels. 

TP2 : Benchmark des APIs (OpenAI, Anthropic) pour mesurer latence, throughput et comprendre quand choisir cloud vs self-hosted.

COURS Matin

Infrastructure GPU et introduction vLLM

Étude des architectures GPU (A100, H100, L40S) : VRAM, tensor cores, calcul FP16/FP8. Calcul des besoins en VRAM et choix de configuration GPU selon budget et performance.

Introduction à vLLM avec PagedAttention pour optimiser la mémoire GPU et continuous batching pour maximiser le throughput.

TP MATIN

Infrastructure GPU et introduction vLLM

TP3 : Installation complète (CUDA, drivers, Python) et validation avec nvidia-smi.

TP Après-midi

Premier déploiement

TP4 : Déploiement de Llama 3.1 8B avec téléchargement depuis HuggingFace, démarrage du serveur vLLM et premiers tests via l'API OpenAI-compatible.

TP5 : Benchmarks de performance. Mesure du throughput (tokens/seconde), latence (TTFT et temps total) et utilisation GPU. Identification des goulots d'étranglement pour optimisation.

Cours Matin

Optimisation vLLM et quantization

Paramètres clés vLLM : gpu-memory-utilization pour équilibrer mémoire et KV cache, max-model-len pour la taille du contexte, tensor-parallel-size pour multi-GPU. Configuration PagedAttention et continuous batching.

Techniques de quantization : FP16, INT8, INT4, méthodes GPTQ et AWQ.

TP Matin

Optimisation vLLM et quantization

TP6 : Déploiement GPT-OSS 20B quantized avec mesure d'impact sur performance, mémoire et qualité vs full precision.

TP Après-midi

Configuration avancée

TP7 : Tuning des paramètres vLLM pour différents cas d'usage (latence minimale vs throughput maximal). Profiling pour identifier les goulots et mesurer l'impact de chaque configuration.

TP8 : Système de prompts pour production. Templates réutilisables, system prompts, gestion de l'historique de conversation avec truncation intelligente.

Cours Matin

Architecture RAG et embeddings

Architecture complète RAG : indexation (extraction, chunking, embeddings), retrieval (recherche par similarité) et génération (construction prompt avec contexte).

Docling pour extraction intelligente avec préservation de structure (tables, listes, sections). Stratégies de chunking (sémantique vs structurel vs hybride). Modèles d'embeddings et recherche par similarité. 

TP Après-midi

Pipeline complet

TP10 : Pipeline RAG end-to-end. Ingestion avec Docling, génération embeddings, retrieval avec Qdrant, construction prompt et génération avec vLLM. Gestion erreurs, logging et mesure qualité.

Cours Après-midi

Pipeline complet

Cours Matin

Conteneurisation

Maîtriser l'utilisation des images Docker officielles vLLM (vllm/vllm-openai), configurer nvidia-container-toolkit pour l'accès GPU, optimiser la gestion des volumes de cache et modèles, personnaliser l'image de base selon les besoins métier, et comprendre les paramètres critiques de performance (IPC, mémoire GPU, tensor parallelism).

TP Matin

Conteneurisation

Cours Après-midi

Cloud et conclusion

Comparaison options cloud (OVHcloud GPU, Azure, AWS) avec analyse coûts/performances. Déploiement sur OVH, configuration réseau sécurisée. Monitoring avec Prometheus/Grafana, logging et alerting.

FIN Après-midi

Conclusion