Flora : annoter les vidéos de robots à bas coût (Nvidia)

Flora est un moteur de données ouvert de Nvidia qui annote des vidéos de robots : il découpe les actions, les décrit et juge si une tâche a réussi. Nvidia annonce un coût d’environ 0,72 $ par heure de vidéo, contre environ 88 $ avec GPT-6 Astra. Ce chiffre est une projection, et Astra garde l’avantage sur certains tests.

En bref

Flora annote une heure de vidéo de robot pour environ 0,72 $ selon Nvidia, contre environ 88,50 $ avec GPT-6 Astra.
Le système repose sur trois modèles Qwen3.5 affinés, disponibles sur Hugging Face.
Flora repère 53,3 % des étapes ratées d’un épisode, aucun concurrent ne dépasse 11,7 %.
Le coût est une projection, et Astra reste devant sur WGO-Bench, les vidéos de robots et les grilles de critères.

À quoi sert Flora pour l’entraînement des robots

Les grands modèles d’IA pour robots apprennent à partir de vidéos qui doivent être accompagnées de texte. Selon le laboratoire GEAR de Nvidia, cela demande trois types d’annotations, et la plupart des outils existants n’en fournissent qu’un.

Les modèles de langage comme GPT-6 Astra peuvent en produire plusieurs, mais ils coûtent trop cher pour les volumes de vidéo concernés. Flora est conçu pour couvrir les trois à la fois.

Des descriptions de l’action et du moment où elle a lieu, pour choisir les données d’entraînement.
Des notes de progression étape par étape, pour que le robot apprenne par essais et erreurs.
Un jugement sur la réussite de la tâche, pour surveiller les robots en service.

Comment fonctionne Flora

Flora s’appuie sur trois modèles Qwen3.5 affinés. Un modèle de 9 milliards de paramètres découpe la vidéo en segments d’action. Un modèle de 27 milliards les décrit en tenant compte de ce qui s’est passé avant et après chaque action.

Un second modèle de 27 milliards, Flora-Rewarder, remplit trois rôles selon la consigne reçue. Il note la réussite d’un épisode de 1 à 5, classe chaque pas d’une demi-seconde comme normal, sous-optimal ou raté, et attribue des scores à partir de grilles de critères qu’il définit lui-même.

Nvidia indique que le système tourne déjà pendant l’entraînement de ses modèles GR00T, avec jusqu’à 200 000 heures de vidéo annotées par jour sur 512 GPU GB300. Les modèles sont disponibles sur Hugging Face.

Un coût d’annotation vidéo réduit jusqu’à 125 fois

Dans un test sur 50 vidéos, Flora obtient un score légèrement supérieur à celui de GPT-6 Astra selon Nvidia, alors que le modèle d’OpenAI disposait de toute sa capacité de raisonnement. La qualité d’annotation atteint 57,1 % pour Flora contre 53,7 % pour Astra.

Côté prix, une heure de vidéo revient à environ 0,72 $ avec Flora, contre environ 88,50 $ avec Astra. Claude Opus 5 obtient un score nettement inférieur dans le même test, pour environ 42 $ par heure.

Ces coûts sont des projections, pas des mesures en production. Nvidia les a calculés en supposant une location à 10 $ par GPU et par heure.

Détecter les échecs d’un robot : le point fort de Flora

Sur RoboRewardBench, le taux d’erreur de Flora est inférieur de 27,8 % à celui d’Astra. L’article attribue l’écart aux tâches partiellement réussies : quand un robot fait seulement basculer une bouteille au lieu de la faire tomber de la table, Flora donne 3 sur 5, comme la référence humaine, alors qu’Astra donne 1.

Flora-Rewarder repère 53,3 % des étapes ratées au sein d’un épisode. Aucun concurrent ne dépasse 11,7 %, et Astra n’en repère aucune. En contrepartie, Flora signale à tort environ 11 % des étapes normales comme des erreurs.

Où Flora reste derrière GPT-6 Astra

Sur le benchmark public WGO-Bench, Flora est le meilleur pour détecter les limites des actions, mais reste derrière Astra au score global et derrière Gemini 3.8 Flash en précision pure des descriptions. Les chercheurs expliquent les gains surtout par la localisation dans le temps.

Sur DenseCaptionBench, le test de Nvidia, Flora domine sur les enregistrements humains, mais arrive second derrière Astra pour les vidéos de robots. Les chercheurs reconnaissent un biais : GPT-6 Astra évalue les descriptions tout en étant l’un des modèles testés.

Flora découpe parfois les actions longues en trop de petites étapes et se trompe parfois : dans une vidéo, une main de robot essuie une assiette avec un chiffon, et Flora décrit le pliage d’une serviette. Dans une autre, il identifie 34 des 37 actions de référence, contre quatre pour Astra. Astra garde aussi l’avantage pour les scores par grille de critères et le classement de trajectoires.

Pourquoi Nvidia publie Flora en open source

Nvidia présente Flora comme une alternative ouverte aux services commerciaux, comme le Physical AI Data Engine de Scale AI. Les chercheurs peuvent s’en servir pour agrandir leurs jeux de données de robotique et tester des approches comme le transfert de démonstrations humaines vers des robots.

Selon The Decoder, Nvidia investit des milliards dans des modèles d’IA ouverts pour garder les développeurs dans son écosystème matériel et stimuler la demande de puces. Flora ajoute des étiquettes détaillées et des signaux de récompense à la chaîne de préparation de données montrée à la GTC. Google a annoncé Gemini 4 Argon, qui vise une partie similaire du processus.

Quelques repères

Annotation vidéo : Elle consiste à associer du texte à une vidéo : décrire ce qui s’y passe, à quel moment, ou si une action a réussi. Ces étiquettes servent ensuite à entraîner des modèles d’IA.
Signal de récompense : C’est une note qui indique à un système d’IA si son action va dans le bon sens. Il s’en sert pour apprendre par essais et erreurs.
Benchmark : Un benchmark est un test standardisé qui permet de comparer plusieurs modèles sur les mêmes tâches avec les mêmes critères.

Questions fréquentes

Combien coûte Flora pour annoter une heure de vidéo de robot ?

Environ 0,72 $ par heure de vidéo selon Nvidia, contre environ 88,50 $ avec GPT-6 Astra. Il s’agit d’une projection calculée avec un prix supposé de 10 $ par GPU et par heure, pas d’une mesure en production.

Flora de Nvidia est-il open source et où le trouver ?

Oui, Nvidia présente Flora comme un système ouvert, et ses modèles sont disponibles sur Hugging Face. Il repose sur trois modèles Qwen3.5 affinés.

Flora est-il meilleur que GPT-6 Astra pour annoter des vidéos ?

Pas partout. Flora obtient un score légèrement supérieur sur un test de 50 vidéos (57,1 % contre 53,7 %), mais Astra reste devant sur WGO-Bench, sur les vidéos de robots de DenseCaptionBench et sur les scores par grille de critères.

Flora peut-il détecter les échecs d’un robot ?

Oui, Flora-Rewarder repère 53,3 % des étapes ratées au sein d’un épisode, alors qu’aucun concurrent ne dépasse 11,7 %. Il signale cependant à tort environ 11 % des étapes normales comme des erreurs.

À retenir

Flora réunit dans un système ouvert les trois types d’annotations dont l’entraînement des robots a besoin, pour un coût projeté de 0,72 $ par heure de vidéo. Son avantage est net sur la détection des étapes ratées, mais GPT-6 Astra reste devant sur plusieurs tests, notamment les vidéos de robots.