L'IA sans GPU, c'est possible — à condition d'avoir les bons CPU
Tout le monde n'a pas besoin d'un H100. L'inférence de LLM quantifiés (GGUF en Q4/Q5), le fine-tuning léger de petits modèles, les pipelines scikit-learn, la vectorisation d'embeddings : tout cela tourne remarquablement bien sur CPU, à condition d'avoir beaucoup de cœurs rapides et énormément de bande passante mémoire. C'est précisément le profil de nos EPYC à 12 canaux DDR5 : 460 GB/s théoriques par socket.
L'inférence LLM sur Singularity
Un Llama 3.1 8B en Q5_K_M occupe ~6 GB et tourne à 15-20 tokens/seconde sur 16 vCore EPYC avec llama.cpp — largement assez pour un chatbot métier ou un agent interne. Un Mistral 7B en Q4 dépasse 25 tok/s. Sur Singularity (32 vCore, 64 GB), vous pouvez servir un 13B quantifié ou plusieurs 7-8B en parallèle derrière un Ollama ou un vLLM CPU.
La DDR5 fait la différence mesurable
L'inférence LLM est boundée par la bande passante mémoire, pas par le calcul. Nos mesures internes : +38 % de tokens/seconde sur notre plateforme DDR5-4800 face à une plateforme DDR4-3200 à modèle et cœurs identiques. C'est la raison matérielle pour laquelle deux VPS « 8 vCore » ne se valent pas.
Cas réels chez nos clients
Classification de tickets support (fine-tuning DistilBERT), génération de réponses RAG avec embeddings sur pgvector, scoring de leads, résumés automatiques de documents juridiques. Le point commun : des workloads par batch ou en faible concurrence, où un GPU serait gaspillé.
Quand passer au GPU
Si vous servez du temps réel à forte concurrence (100+ requêtes simultanées) ou fine-tunez des modèles > 13B, il vous faudra du GPU. Pour tout le reste — et c'est 90 % des usages métiers — un Singularity CPU est quatre fois moins cher à service équivalent.