agent-desktop : piloter le bureau avec un agent IA

agent-desktop est un outil en ligne de commande et une bibliothèque C, publiés par Vercel Labs, qui permettent à un agent IA de lire et d’utiliser les applications de ton bureau. Il passe par l’arbre d’accessibilité du système, sans reconnaissance de pixels. Il fonctionne sur macOS, Windows et Linux, et s’installe avec npm.

En bref

Un agent IA lit et actionne les applis de bureau via l’arbre d’accessibilité
Chaque élément actionnable reçoit une référence dans un snapshot JSON
56 commandes opérationnelles, sur macOS, Windows et Linux
Aucun modèle d’IA à l’intérieur : la boucle reste dans ton agent
Licence Apache-2.0, installation par npm install -g agent-desktop

Qu’est-ce qu’agent-desktop ?

Pour qu’un agent IA utilise un ordinateur (ce qu’on appelle le « computer use »), il doit voir l’interface et pouvoir agir dessus. agent-desktop répond à ce besoin en lisant l’arbre d’accessibilité des applications : la description que le système tient de chaque bouton, champ ou menu.

L’outil ne contient aucun modèle d’IA. C’est l’agent qui l’appelle qui mène la boucle : observer, agir, puis vérifier. La FAQ du projet précise aussi qu’il n’automatise pas les pages web, et renvoie pour cela vers un autre outil, agent-browser.

Comment fonctionne agent-desktop

La commande snapshot lit l’arbre d’accessibilité d’une appli et l’affiche en JSON. Chaque élément sur lequel l’agent peut agir reçoit une référence (un « ref »), par exemple @s8f3k2p9:e8. L’agent agit sur cette référence, puis prend un nouveau snapshot pour constater le résultat.

Une référence appartient à son snapshot : une forme nue comme @e8 est rejetée avec l’erreur INVALID_ARGS. Si l’interface change, l’action renvoie STALE_REF ou AMBIGUOUS_TARGET, et il faut reprendre un snapshot. Chaque commande affiche une seule enveloppe JSON, avec ok et soit data, soit error.

Par défaut, les actions sur une référence passent par l’API d’accessibilité sans déplacer le pointeur ni prendre le focus. L’option globale --headed autorise l’entrée physique.

Ce que sait faire agent-desktop

Le README compte 60 noms de commandes, dont 56 opérationnelles. Quatre commandes (key-down, key-up, mouse-down, mouse-up) refusent de s’exécuter tant qu’un démon ne peut pas relâcher une touche ou un bouton maintenu.

Pour les applis denses, le projet conseille de cartographier d’abord avec snapshot --skeleton, puis d’explorer une seule zone avec snapshot --root.

Observer : snapshot, recherche d’éléments, captures d’écran
Agir sur une référence : clic, saisie, case à cocher, défilement, sélection
Clavier et souris : touches, survol, glisser-déposer
Applis et fenêtres : lancer, fermer, déplacer, redimensionner
Notifications et presse-papiers : lister, fermer, lire, écrire

Installer agent-desktop

Le paquet npm demande Node 18 ou plus récent et embarque les exécutables natifs pour macOS, Windows et Linux, en x64 et ARM64. Bun, Yarn et pnpm installent le même paquet.

Sur macOS et Linux, la documentation indique aussi brew install agent-desktop. Il n’existe pas encore de paquet Scoop officiel. Les archives de chaque version sont disponibles sur GitHub Releases, et la compilation depuis les sources demande la chaîne d’outils Rust.

npm install -g agent-desktop
agent-desktop version

Premier essai et permissions

L’exemple du README observe le Finder de macOS, agit sur une référence, puis observe à nouveau. Tout nom renvoyé par agent-desktop list-apps convient.

Les permissions varient. Sur macOS, il faut accorder l’accès Accessibilité (agent-desktop permissions --guide ouvre un guide), et les captures d’écran demandent aussi l’enregistrement de l’écran. Windows n’exige aucune autorisation pour les applis au même niveau d’intégrité que le terminal. Linux demande la session graphique de l’utilisateur avec at-spi2-core, et Ubuntu 24.04 ou plus récent.

agent-desktop snapshot --app Finder -i
agent-desktop click @s8f3k2p9:e8
agent-desktop snapshot --app Finder -i

Où en est le projet

Le dépôt a été créé le 19 février 2026. Au relevé du 5 novembre 2026, il compte 15 846 étoiles, 1 104 forks, 9 contributeurs et 166 tickets et demandes de fusion ouverts. La dernière version, v1.2.0, date du même jour.

Elle ajoute une commande agent-desktop mcp et l’entrée par stdin pour les commandes de texte. La v1.1.0, publiée le 3 novembre 2026, avait introduit l’option type --interval-ms pour saisir à rythme régulier, ainsi que des améliorations de la superposition du curseur sur macOS et Windows.

Ce qu’il faut savoir avant de se lancer

Une appli qui ne publie pas d’arbre d’accessibilité reste invisible pour agent-desktop. Les snapshots, le presse-papiers, les captures et les notifications peuvent contenir des données privées : le projet recommande de les garder hors des journaux et des dépôts publics. Un assistant optionnel, JEV, envoie en revanche des descriptions d’écran au fournisseur de modèle que tu configures.

Sous Windows, le binaire n’est pas signé : SmartScreen ou un antivirus peuvent réagir, et Smart App Control le bloque sur une installation neuve de Windows 11. Le projet est sous licence Apache-2.0.

Quelques repères

Arbre d’accessibilité : Description structurée de l’interface d’une application, que le système d’exploitation expose notamment aux lecteurs d’écran. Elle liste les éléments (boutons, champs, menus) avec leur rôle et leur nom.
JSON : Format de texte qui organise des données en paires nom-valeur et en listes. Il se lit facilement par un humain comme par un programme.
Ligne de commande : Mode d’utilisation d’un logiciel où l’on tape des instructions dans un terminal plutôt que de cliquer dans une fenêtre.

Questions fréquentes

agent-desktop fonctionne-t-il sur Windows et Linux ?

Oui, agent-desktop fonctionne sur macOS, Windows et Linux. Sous Linux, la documentation demande Ubuntu 24.04 ou plus récent et la session graphique de l’utilisateur avec at-spi2-core.

agent-desktop utilise-t-il la reconnaissance d’image ?

Non. Les commandes qui prennent une référence trouvent l’élément dans l’arbre d’accessibilité, pas en comparant des pixels. En contrepartie, une appli qui ne publie aucun arbre d’accessibilité n’est pas visible.

agent-desktop est-il gratuit et open source ?

Oui, agent-desktop est sous licence Apache-2.0. Le projet ne mentionne aucun prix.

Comment installer agent-desktop ?

Avec npm : npm install -g agent-desktop, puis agent-desktop version pour vérifier. Node 18 ou plus récent est requis, et Homebrew est une alternative sur macOS et Linux.

À retenir

agent-desktop donne à un agent IA une façon structurée de lire et d’actionner les applis de bureau, sans passer par l’image de l’écran. Il ne voit que les applications qui publient un arbre d’accessibilité, et ses captures peuvent contenir des données privées.