Tests de maîtrise du français : les modèles chinois (DeepSeek, GLM, Kimi) face à une grille critériée

Post rédigé avec l'aide de GLM5.3 flash Contexte : formateur professionnel d'adultes en France, j'utilise des agents LLM au quotidien et le français qu'ils produisent est mon critère n°1, avant les benchmarks de code. Beaucoup de modèles laissent des anglicismes, des fautes d'accords ou une typographie anglaise (guillemets droits, "80%" collé...). Les classements classiques (Arena, benchmarks agentiques) ne testent pas ça. J'ai donc construit une petite méthode d'évaluation inspirée de ce que je connais : la grille critériée (comme dans les référentiels de formation). Le principe : - deux sujets de test : un protocole de grammaire pointu (accords des participes avec pièges pronominaux, subjonctif vs indicatif avec le piège "il est probable que", paronymes, registre soutenu, ambiguïté syntaxique, typographie française) + un protocole "usage réel" (synthèse de veille, réponse à une relance de candidature, explication technique avec anglicismes légitimes à garder vs à traduire) - quelques pièges glissés dans l'énoncé lui-même (coquille, anglicisme, guillemets droits) pour tester la vigilance - une grille de correction générée une fois par Claude Opus : pour chaque tâche, réponse de référence, variantes acceptables, indicateurs observables, niveaux N0 à N3, critères bloquants - le pointage fait par Claude Sonnet (raisonnement désactivé : sur un gros prompt, il brûlait tout son budget de réflexion avant d'écrire), jamais un modèle juge de sa propre copie - les fautes hors grille ne sont pas pénalisées : elles remontent en "litiges" pour arbitrage humain - un score par critère, pas une note globale Modèles testés (sur Ollama Cloud, chacun à son niveau de raisonnement d'usage réel, appels à tour unique) : DeepSeek V4 Flash 0731, GLM-5.3-Flash, DeepSeek V4 Pro 0813, Kimi K3 (en effort medium). ## Résultats (moyenne des niveaux par tâche, échelle 0-3) Tâche Flash 0731 GLM-5.3-Flash V4 Pro 0813 Kimi K3 Accords participes (pièges pronominaux) 3,0 3,0 3,0 3,0 Homophones / paronymes 3,0 3,0 3,0 3,0 Subjonctif vs indicatif ("il est probable que") 3,0 3,0 3,0 3,0 Registre soutenu 2,0 2,0 2,6 2,0 Pièges lexicaux 2,8 3,0 3,0 3,0 Levée d'ambiguïté syntaxique 2,0 3,0 2,8 3,0 Typographie française 2,0 2,3 2,6 2,7 Vigilance aux pièges de l'énoncé 2,5 2,0 2,5 2,0 Synthèse de veille (contraintes + anglicismes) 2,0 2,1 2,0 2,0 Réponse de candidature (registre pro) 1,8 1,9 2,0 2,0 Explication technique (benchmark/stack) 1,8 2,2 2,3 2,1 Général 2,35 2,50 2,61 2,53 ## Ce que ça montre La grammaire de base est réglée chez les quatre. Accords, modes, paronymes : 3,0 partout, y compris le piège "il est probable que + indicatif" que les LLM rataient massivement. Si votre modèle chinois récent fait encore des fautes d'accords simples, la version de 2026 est passée par là. Le vrai discriminant n'est plus la grammaire mais la finesse : registre soutenu sans jargon administratif, levée d'une ambiguïté syntaxique sans la déplacer, typographie française. Là, tout le monde décroche un peu, et c'est là que V4 Pro et Kimi prennent l'avantage. GLM-5.3-Flash est le meilleur rapport qualité/coût : 2,50 avec le tier de quota le plus léger des quatre (et il est multimodal). Pour un usage agentique quotidien en français, c'est le compromis. DeepSeek V4 Pro 0813 gagne sur le registre soutenu (seul à transposer la nuance d'une image familière sans la trahir ni tomber dans le jargon). Si votre usage c'est la rédaction soignée, c'est lui. Mais c'est le tier le plus lourd en quota. Kimi K3 en effort réduit est une belle surprise : aucune faute bloquante, copies très courtes mais propres. Ses deux bémols : une affirmation fausse sur la typographie (il explique que l'espace insécable se met aussi APRÈS les deux-points, c'est faux), et son tier de quota est le plus lourd du catalogue. DeepSeek Flash 0731 est le seul à avoir déclenché un vrai piège : sur l'ambiguïté syntaxique, il propose une "reformulation" qui garde l'ambiguïté (ajouter une virgule ne suffit pas). Il progresse en agentique mais reste en retrait en français soutenu. Point transversal : la typographie française reste le point faible de tous (espaces insécables, guillemets). Aucun des quatre ne fait un sans-faute sur cet exercice. ## Limites honnêtes - Un seul passage par prompt et par modèle (pas de moyenne sur N essais) : les scores reflètent un tirage, pas une loi. La reproductibilité vient de la grille gelée et des paramètres fixes, pas de la répétition. - Les modèles ont été testés chacun à leur niveau de raisonnement d'usage réel, pas à iso-effort : le classement dit "qui rend le meilleur français dans les conditions où je l'utiliserais", pas "qui est le meilleur en absolu". - Le juge (Sonnet) a été testé sur la même grille en amont par construction (il a généré la grille) mais ne figure pas comme candidat, et deux pointages ont été arbitrés à la main. - Échelle 0-3 par critère, pas de note sur 20 : c'est un profil par compétence, pas un classement marketing. La méthode complète (prompts, grille, script Python séquentiel) est reproductible : n'importe qui peut la rejouer sur ses modèles. Je peux détailler les prompts si ça intéresse du monde, et la prochaine série de modèles sera testée avec exactement le même protocole pour comparaison. --- Configuration : Ollama Cloud (modèles officiels), juge Claude Sonnet 5 via OpenRouter, température 0,7, une conversation vierge par prompt, aucune donnée personnelle dans les copies de test. submitted by /u/Jeanjose1993 [link] [comments]

Related

Source: r/ollama | 2026-08-28