Comme promis, voici les premiers benchmarks Cortex comparés à Aider et OpenCode.

Il y a quelques jours, plusieurs d'entre vous m'ont demandé de partager des résultats concrets plutôt que de simplement parler du potentiel de Cortex. Les voici donc. J'ai effectué des tests de performance avec le même modèle local, Ornith 1.5 9B, en utilisant Ollama sur mon Mac. L'objectif est de voir comment un modèle relativement petit peut accomplir davantage de tâches grâce à une meilleure orchestration, une exécution des outils optimisée, une gestion du contexte améliorée et une meilleure récupération des erreurs. Premiers résultats : Sur un ensemble initial de 8 tâches ciblées, Cortex est passé de 2/8 à 4/8, pour finalement atteindre 8/8 sur une version stabilisée. J'ai ensuite réalisé un test de performance plus complexe, composé de 12 tâches, en le comparant à Aider et OpenCode. Agent Réussi Temps total Total des jetons Régressions Cortex 3/12 15 min 53 s 195 912 2 Aider 3/12 18 min 52 s 48 896 0 OpenCode 3/12 1 h 26 min 17 s 986 838 0 Même modèle, même machine, une exécution par tâche. Je ne prétends pas que Cortex soit meilleur. Ce sont des résultats préliminaires. Certains agents ont atteint des délais d'attente, la comptabilisation des jetons n'est pas entièrement standardisée et j'ai identifié des problèmes avec la validation du benchmark qui doivent être corrigés avant de tirer des conclusions définitives. Cortex était globalement plus rapide, mais il a également introduit des régressions. Et l'une de mes versions expérimentales les plus récentes a obtenu des résultats nettement inférieurs lors d'un test pilote distinct. C'est la réalité du développement. Toutes les nouvelles versions ne sont pas forcément des améliorations. Et ensuite ? Ces prochains jours, je me concentrerai sur la résolution des problèmes de fiabilité sous-jacents, l’amélioration de la méthodologie des tests de performance et la réalisation de comparaisons plus reproductibles. L’objectif immédiat est de dépasser les 3/12 sans introduire de régressions. L’objectif ambitieux est de 12/12, mais il devra être atteint grâce à des tests concrets, et non par de simples promesses. Je souhaite également vérifier si les améliorations se transposent à d’autres modèles et à des tâches totalement nouvelles. Je continuerai à partager les résultats des tests de performance, y compris les échecs. Je préfère présenter des résultats imparfaits plutôt que de faire des affirmations que je ne peux pas étayer. GitHub : https://github.com/j4mesbst/Solar Vos retours d’expérience, notamment de la part de ceux qui utilisent Aider, OpenCode ou des agents de codage locaux, seraient très appréciés. Selon vous, qu’est-ce qui compte le plus : une meilleure exécution des outils, une gestion du contexte plus efficace ou une meilleure gestion des erreurs ? submitted by /u/AggressiveOrder2584 [link] [comments]

Related

• I built a thing that benchmarks Ollama models on your own hardware and ranks them
• I built a desktop benchmark for local Ollama models — TTFT, tok/s, VRAM, with a HuggingFace GGUF catalogue
• Deepseek V4 Pro Ollama Cloud is not working compare to OpenCode Go

Source: r/ollama | 2026-10-22