Is the Agent Harness Dead? — Jediah Katz, SpaceXAI
Le créateur travaille sur Grokbot (SpaceXAI) et le présente comme produit phare : la vidéo y mène en grande partie.
À nuancer : Les deux études citées (Berkeley, Apple/EPFL) sont nommées sans titre ni lien ; la prédiction des 90 % est une opinion.
À retenir
- 7:39 Grokbot est le produit de son employeur : il dit « je ne vais pas trop vendre » mais le qualifie de « groundbreaking » et d'avoir créé une catégorie.
- 5:13 Les études Berkeley (7 modèles) et Apple/EPFL ne montrent pas de différence de score selon le harnais ; il n'en donne ni titre ni chiffres.
- 13:33 Les gains de coût de Grokbot (cache, tokens, mix de modèles) sont annoncés « sans perte de qualité » sans aucun chiffre.
- 17:26 Il prédit que 90 % du travail des agents tournera hors de l'ordinateur portable d'ici 6 mois, sans donnée à l'appui.
La vidéo en bref
- 0:01 Jediah se présente comme ingénieur du harnais d'agent chez Cursor, passé chez SpaceX avec le rachat. Il pose la question : le harnais d'agent est-il mort ?
- 1:05 Il retrace l'évolution des titres : prompt engineer en 2023, context engineer mi-2025, puis harness engineer cette année. Il définit le harnais comme les yeux et les mains du modèle, en deux couches : runtime, et contexte/orchestration.
- 2:49 Cursor a construit un navigateur avec Grind Swarm, très coûteux. Des voix d'Anthropic et de YC, et Jediah lui-même, disent avoir retiré des garde-fous parce que les modèles progressent.
- 4:31 Une étude de Berkeley et une d'Apple/EPFL trouvent peu d'effet du harnais sur les scores. Il en conclut qu'un harnais sophistiqué n'ajoute plus d'intelligence en code, car le modèle a absorbé ces compétences.
- 6:16 Le harnais rend accessibles des tâches plus dures, plus d'utilisateurs les tentent, les données reviennent aux labos, et les modèles apprennent ces compétences. Le harnais peut alors les supprimer.
- 7:34 Il présente Grokbot, un collègue autonome avec coordinateurs et agents ouvriers. Ses équipes y rajoutent des garde-fous pour les slides, les voyages, la communication et la mémoire. Il évoque aussi la software factory.
- 12:07 Il affirme que le cloud est nécessaire aux agents longs, que les permissions et garde-fous protègent des actions risquées, et que le coût par tâche varie selon le harnais. Il dit avoir réduit les coûts de Grokbot.
- 14:21 Il prévoit des harnais plus changeants, moins exposés aux utilisateurs, bâtis sur des primitives (abonnements) et des agents comme briques. Il prédit 90 % du travail hors portable en 6 mois et conclut « vive le harnais ».
De quoi ça parle
Jediah Katz, ingénieur chez SpaceXAI (ex-Cursor), soutient que les harnais d'agents n'ajoutent plus d'intelligence en code, mais restent utiles pour de nouvelles tâches, l'infrastructure, la sécurité et le coût. Il met en avant Grokbot.
Ce que la vidéo ne dit pas
- Il ne dit pas le prix de Grokbot ni ses limites, alors qu'il en recommande l'essai.
- Aucun échec ou cas où Grokbot se trompe n'est montré, ni démo.
- Les conditions d'usage des données utilisateurs pour l'entraînement ne sont pas précisées
Carte des affirmations
Contre-argument : Des benchmarks précis ne reflètent pas tous les usages. Le créateur résume les études sans chiffres, et il a un intérêt à valoriser le harnais de son employeur ailleurs. Les commentaires les contestent.
Contre-argument : C'est un modèle explicatif plausible mais présenté comme acquis. Il ne dit pas quelles données, sous quelles conditions ni avec quel consentement ; des commentaires s'en inquiètent.
Contre-argument : Sans pourcentage ni benchmark, impossible de juger l'ampleur ou la qualité maintenue. L'affirmation sert aussi à valoriser un produit de son employeur.
Contre-argument : On ignore la part actuelle. Des commentaires la jugent agressive ou s'inquiètent du contrôle. Une adoption cloud profite aux fournisseurs comme SpaceXAI.
Intérêts en jeu
- Mentionné à l'oral : Grokbot (SpaceXAI) (produit du créateur) 7:39
Le créateur travaille chez SpaceXAI, qui édite Grokbot ; le cloud et l'usage des données bénéficient à l'entreprise. La conférence AIE CODE est aussi promue en description.
À lire aussi
Installer Unsaid (gratuit)