モデルライブラリ
利用可能な改変モデル
Section titled “利用可能な改変モデル”| モデル | 説明 | リンク |
|---|---|---|
| Qwen2.5-VL-3B-Action | Qwen2.5-VLの語彙をFASTトークンで拡張(連続アクションをトークンに離散化するための特殊語彙拡張) | Hugging Face |
| Qwen3-VL-4B-Action | Qwen3-VLの語彙をFASTトークンで拡張(同上) | Hugging Face |
| pi-fast | pi-fastアクショントークナイザーの重み | Hugging Face |
ファインチューニングのチェックポイント
Section titled “ファインチューニングのチェックポイント”SimplerEnv / Bridge
Section titled “SimplerEnv / Bridge”Bridgeは WidowX テーブルトップ操作データセットで、FractalはGoogleのRT-1ロボット操作データセットです。
| モデル | フレームワーク | ベースVLM | 説明 | WidowX | リンク |
|---|---|---|---|---|---|
| Qwen2.5-FAST-Bridge-RT-1 | QwenFast | Qwen2.5-VL-3B | Bridge + Fractal | 58.6 | HF |
| Qwen2.5-OFT-Bridge-RT-1 | QwenOFT | Qwen2.5-VL-3B | Bridge + Fractal | 41.8 | HF |
| Qwen2.5-PI-Bridge-RT-1 | QwenPI | Qwen2.5-VL-3B | Bridge + Fractal | 62.5 | HF |
| Qwen2.5-GR00T-Bridge-RT-1 | QwenGR00T | Qwen2.5-VL-3B | Bridge + Fractal | 63.6 | HF |
| Qwen-GR00T-Bridge | QwenGR00T | Qwen2.5-VL-3B | Bridgeのみ | 71.4 | HF |
| Qwen3VL-OFT-Bridge-RT-1 | QwenOFT | Qwen3-VL-4B | Bridge + Fractal | 42.7 | HF |
| Qwen3VL-GR00T-Bridge-RT-1 | QwenGR00T | Qwen3-VL-4B | Bridge + Fractal | 65.3 | HF |
| Florence-GR00T-Bridge-RT-1 | QwenGR00T | Florence-2 | Bridge + Fractal(小型モデル) | - | HF |
WidowX列: SimplerEnvでのWidowXロボットタスクの成功率(%)。高いほど良い結果です。
LIBERO
Section titled “LIBERO”LIBEROには4つのタスクスイート(Spatial、Object、Goal、Long Horizon)があり、合計40タスクです。すべてのチェックポイントは4つのスイート全体で共同トレーニングされています。LIBERO評価ドキュメントを参照してください。
| モデル | フレームワーク | ベースVLM | リンク |
|---|---|---|---|
| Qwen2.5-VL-FAST-LIBERO-4in1 | QwenFast | Qwen2.5-VL-3B | HF |
| Qwen2.5-VL-OFT-LIBERO-4in1 | QwenOFT | Qwen2.5-VL-3B | HF |
| Qwen2.5-VL-GR00T-LIBERO-4in1 | QwenGR00T | Qwen2.5-VL-3B | HF |
| Qwen3-VL-OFT-LIBERO-4in1 | QwenOFT | Qwen3-VL-4B | HF |
| Qwen3-VL-PI-LIBERO-4in1 | QwenPI | Qwen3-VL-4B | HF |
RoboCasa
Section titled “RoboCasa”RoboCasa GR1テーブルトップタスク、24のPick-and-Placeタスク。RoboCasa評価ドキュメントを参照してください。
| モデル | フレームワーク | ベースVLM | リンク |
|---|---|---|---|
| Qwen3-VL-GR00T-Robocasa-gr1 | QwenGR00T | Qwen3-VL-4B | HF |
| Qwen3-VL-OFT-Robocasa | QwenOFT | Qwen3-VL-4B | HF |
RoboTwin
Section titled “RoboTwin”RoboTwin 2.0双腕操作ベンチマーク、50タスク。RoboTwin評価ドキュメントを参照してください。
| モデル | フレームワーク | ベースVLM | リンク |
|---|---|---|---|
| Qwen3-VL-OFT-Robotwin2-All | QwenOFT | Qwen3-VL-4B | HF |
| Qwen3-VL-OFT-Robotwin2 | QwenOFT | Qwen3-VL-4B | HF |
BEHAVIOR-1K
Section titled “BEHAVIOR-1K”BEHAVIOR-1K家事タスクベンチマーク、R1Proヒューマノイドロボットを使用。BEHAVIOR評価ドキュメントを参照してください。
| モデル | 説明 | リンク |
|---|---|---|
| BEHAVIOR-QwenDual-taskall | 全50タスクで共同トレーニング | HF |
| BEHAVIOR-QwenDual-task1 | シングルタスクトレーニング | HF |
| BEHAVIOR-QwenDual-task6-40k | 6タスク共同トレーニング | HF |
| BEHAVIOR-rgp-seg | セグメンテーション観測実験 | HF |
データセット
Section titled “データセット”トレーニングデータセット
Section titled “トレーニングデータセット”| データセット | 説明 | リンク |
|---|---|---|
| LLaVA-OneVision-COCO | VLM共同トレーニング用の画像テキストデータセット(ShareGPT4V-COCOサブセット) | HF |
| RoboTwin-Clean | RoboTwin 2.0クリーンデモンストレーション(タスクあたり50件) | HF |
| RoboTwin-Randomized | RoboTwin 2.0ランダム化デモンストレーション(タスクあたり500件) | HF |
| RoboTwin-Randomized-targz | 上記と同じ、tar.gzパック形式(一括ダウンロード用) | HF |
BEHAVIORデータ
Section titled “BEHAVIORデータ”| データセット | 説明 | リンク |
|---|---|---|
| BEHAVIOR-1K | BEHAVIOR-1Kベンチマークシミュレーション設定 | HF |
| BEHAVIOR-1K-datasets | BEHAVIOR-1Kトレーニングデータセット | HF |
| BEHAVIOR-1K-datasets-assets | BEHAVIOR-1Kシーンおよびオブジェクトアセット | HF |
| BEHAVIOR-1K-VISUALIZATION-DEMO | BEHAVIOR-1K可視化デモ | HF |
| behavior-1k-task0 | シングルタスクトレーニングデータサンプル | HF |
チェックポイントの使用方法
Section titled “チェックポイントの使用方法”チェックポイントをダウンロードしてポリシーサーバーを実行します:
# ダウンロード(huggingface_hubが必要)huggingface-cli download StarVLA/Qwen3VL-GR00T-Bridge-RT-1 --local-dir ./results/Checkpoints/Qwen3VL-GR00T-Bridge-RT-1
# ポリシーサーバーの起動python deployment/model_server/server_policy.py \ # steps_XXXXXはトレーニングステップ数です -- ダウンロードしたファイルの実際のファイル名に置き換えてください # 例: steps_50000_pytorch_model.pt; `ls`で正確なファイル名を確認してください --ckpt_path ./results/Checkpoints/Qwen3VL-GR00T-Bridge-RT-1/checkpoints/steps_XXXXX_pytorch_model.pt \ --port 5694 \ --use_bf16その後、テストしたいベンチマークの評価ガイドに従ってください(例: SimplerEnv、LIBERO、RoboCasa、RoboTwin、BEHAVIOR)。