Model Zoo
Modeles modifies disponibles
Section intitulée « Modeles modifies disponibles »| Modele | Description | Lien |
|---|---|---|
| Qwen2.5-VL-3B-Action | Extension du vocabulaire de Qwen2.5-VL avec des fast tokens (extension speciale du vocabulaire pour discretiser les actions continues en tokens) | Hugging Face |
| Qwen3-VL-4B-Action | Extension du vocabulaire de Qwen3-VL avec des fast tokens (idem) | Hugging Face |
| pi-fast | Poids du tokenizer d’actions pi-fast | Hugging Face |
Checkpoints de fine-tuning
Section intitulée « Checkpoints de fine-tuning »SimplerEnv / Bridge
Section intitulée « SimplerEnv / Bridge »Bridge est un dataset de manipulation sur table WidowX ; Fractal est le dataset de manipulation robotique RT-1 de Google.
| Modele | Framework | VLM de base | Description | WidowX | Lien |
|---|---|---|---|---|---|
| Qwen2.5-FAST-Bridge-RT-1 | QwenFast | Qwen2.5-VL-3B | Bridge + Fractal | 58.6 | HF |
| Qwen2.5-OFT-Bridge-RT-1 | QwenOFT | Qwen2.5-VL-3B | Bridge + Fractal | 41.8 | HF |
| Qwen2.5-PI-Bridge-RT-1 | QwenPI | Qwen2.5-VL-3B | Bridge + Fractal | 62.5 | HF |
| Qwen2.5-GR00T-Bridge-RT-1 | QwenGR00T | Qwen2.5-VL-3B | Bridge + Fractal | 63.6 | HF |
| Qwen-GR00T-Bridge | QwenGR00T | Qwen2.5-VL-3B | Bridge uniquement | 71.4 | HF |
| Qwen3VL-OFT-Bridge-RT-1 | QwenOFT | Qwen3-VL-4B | Bridge + Fractal | 42.7 | HF |
| Qwen3VL-GR00T-Bridge-RT-1 | QwenGR00T | Qwen3-VL-4B | Bridge + Fractal | 65.3 | HF |
| Florence-GR00T-Bridge-RT-1 | QwenGR00T | Florence-2 | Bridge + Fractal (petit modele) | - | HF |
Colonne WidowX : Taux de reussite (%) sur les taches du robot WidowX dans SimplerEnv. Plus eleve = mieux.
LIBERO comporte 4 suites de taches (Spatial, Object, Goal, Long Horizon) avec 40 taches au total. Tous les checkpoints sont entraines conjointement sur les 4 suites. Voir la documentation d’evaluation LIBERO.
| Modele | Framework | VLM de base | Lien |
|---|---|---|---|
| Qwen2.5-VL-FAST-LIBERO-4in1 | QwenFast | Qwen2.5-VL-3B | HF |
| Qwen2.5-VL-OFT-LIBERO-4in1 | QwenOFT | Qwen2.5-VL-3B | HF |
| Qwen2.5-VL-GR00T-LIBERO-4in1 | QwenGR00T | Qwen2.5-VL-3B | HF |
| Qwen3-VL-OFT-LIBERO-4in1 | QwenOFT | Qwen3-VL-4B | HF |
| Qwen3-VL-PI-LIBERO-4in1 | QwenPI | Qwen3-VL-4B | HF |
RoboCasa
Section intitulée « RoboCasa »Taches RoboCasa GR1 Tabletop avec 24 taches de Pick-and-Place. Voir la documentation d’evaluation RoboCasa.
| Modele | Framework | VLM de base | Lien |
|---|---|---|---|
| Qwen3-VL-GR00T-Robocasa-gr1 | QwenGR00T | Qwen3-VL-4B | HF |
| Qwen3-VL-OFT-Robocasa | QwenOFT | Qwen3-VL-4B | HF |
RoboTwin
Section intitulée « RoboTwin »Benchmark de manipulation bi-bras RoboTwin 2.0 avec 50 taches. Voir la documentation d’evaluation RoboTwin.
| Modele | Framework | VLM de base | Lien |
|---|---|---|---|
| Qwen3-VL-OFT-Robotwin2-All | QwenOFT | Qwen3-VL-4B | HF |
| Qwen3-VL-OFT-Robotwin2 | QwenOFT | Qwen3-VL-4B | HF |
BEHAVIOR-1K
Section intitulée « BEHAVIOR-1K »Benchmark de taches menageres BEHAVIOR-1K utilisant le robot humanoide R1Pro. Voir la documentation d’evaluation BEHAVIOR.
| Modele | Description | Lien |
|---|---|---|
| BEHAVIOR-QwenDual-taskall | Entraine conjointement sur les 50 taches | HF |
| BEHAVIOR-QwenDual-task1 | Entrainement sur une seule tache | HF |
| BEHAVIOR-QwenDual-task6-40k | Entrainement conjoint sur 6 taches | HF |
| BEHAVIOR-rgp-seg | Experience avec observation par segmentation | HF |
Datasets
Section intitulée « Datasets »Datasets d’entrainement
Section intitulée « Datasets d’entrainement »| Dataset | Description | Lien |
|---|---|---|
| LLaVA-OneVision-COCO | Dataset image-texte pour le co-entrainement VLM (sous-ensemble ShareGPT4V-COCO) | HF |
| RoboTwin-Clean | Demonstrations propres RoboTwin 2.0 (50 par tache) | HF |
| RoboTwin-Randomized | Demonstrations randomisees RoboTwin 2.0 (500 par tache) | HF |
| RoboTwin-Randomized-targz | Idem, format tar.gz compresse (pour telechargement en masse) | HF |
Donnees BEHAVIOR
Section intitulée « Donnees BEHAVIOR »| Dataset | Description | Lien |
|---|---|---|
| BEHAVIOR-1K | Configurations de simulation du benchmark BEHAVIOR-1K | HF |
| BEHAVIOR-1K-datasets | Datasets d’entrainement BEHAVIOR-1K | HF |
| BEHAVIOR-1K-datasets-assets | Assets de scenes et objets BEHAVIOR-1K | HF |
| BEHAVIOR-1K-VISUALIZATION-DEMO | Demos de visualisation BEHAVIOR-1K | HF |
| behavior-1k-task0 | Echantillon de donnees d’entrainement pour une seule tache | HF |
Comment utiliser un checkpoint
Section intitulée « Comment utiliser un checkpoint »Telechargez un checkpoint et lancez le serveur de politique :
# Telechargement (necessite huggingface_hub)huggingface-cli download StarVLA/Qwen3VL-GR00T-Bridge-RT-1 --local-dir ./results/Checkpoints/Qwen3VL-GR00T-Bridge-RT-1
# Demarrer le serveur de politiquepython deployment/model_server/server_policy.py \ # steps_XXXXX est le nombre d'etapes d'entrainement -- remplacez par le nom de fichier reel de votre telechargement # par ex. steps_50000_pytorch_model.pt ; executez `ls` pour voir le nom exact du fichier --ckpt_path ./results/Checkpoints/Qwen3VL-GR00T-Bridge-RT-1/checkpoints/steps_XXXXX_pytorch_model.pt \ --port 5694 \ --use_bf16Suivez ensuite le guide d’evaluation pour le benchmark que vous souhaitez tester (par exemple SimplerEnv, LIBERO, RoboCasa, RoboTwin, BEHAVIOR).