コンテンツにスキップ

モデルライブラリ

モデル説明リンク
Qwen2.5-VL-3B-ActionQwen2.5-VLの語彙をFASTトークンで拡張(連続アクションをトークンに離散化するための特殊語彙拡張)Hugging Face
Qwen3-VL-4B-ActionQwen3-VLの語彙をFASTトークンで拡張(同上)Hugging Face
pi-fastpi-fastアクショントークナイザーの重みHugging Face

ファインチューニングのチェックポイント

Section titled “ファインチューニングのチェックポイント”

Bridgeは WidowX テーブルトップ操作データセットで、FractalはGoogleのRT-1ロボット操作データセットです。

モデルフレームワークベースVLM説明WidowXリンク
Qwen2.5-FAST-Bridge-RT-1QwenFastQwen2.5-VL-3BBridge + Fractal58.6HF
Qwen2.5-OFT-Bridge-RT-1QwenOFTQwen2.5-VL-3BBridge + Fractal41.8HF
Qwen2.5-PI-Bridge-RT-1QwenPIQwen2.5-VL-3BBridge + Fractal62.5HF
Qwen2.5-GR00T-Bridge-RT-1QwenGR00TQwen2.5-VL-3BBridge + Fractal63.6HF
Qwen-GR00T-BridgeQwenGR00TQwen2.5-VL-3BBridgeのみ71.4HF
Qwen3VL-OFT-Bridge-RT-1QwenOFTQwen3-VL-4BBridge + Fractal42.7HF
Qwen3VL-GR00T-Bridge-RT-1QwenGR00TQwen3-VL-4BBridge + Fractal65.3HF
Florence-GR00T-Bridge-RT-1QwenGR00TFlorence-2Bridge + Fractal(小型モデル)-HF

WidowX列: SimplerEnvでのWidowXロボットタスクの成功率(%)。高いほど良い結果です。

LIBEROには4つのタスクスイート(Spatial、Object、Goal、Long Horizon)があり、合計40タスクです。すべてのチェックポイントは4つのスイート全体で共同トレーニングされています。LIBERO評価ドキュメントを参照してください。

モデルフレームワークベースVLMリンク
Qwen2.5-VL-FAST-LIBERO-4in1QwenFastQwen2.5-VL-3BHF
Qwen2.5-VL-OFT-LIBERO-4in1QwenOFTQwen2.5-VL-3BHF
Qwen2.5-VL-GR00T-LIBERO-4in1QwenGR00TQwen2.5-VL-3BHF
Qwen3-VL-OFT-LIBERO-4in1QwenOFTQwen3-VL-4BHF
Qwen3-VL-PI-LIBERO-4in1QwenPIQwen3-VL-4BHF

RoboCasa GR1テーブルトップタスク、24のPick-and-Placeタスク。RoboCasa評価ドキュメントを参照してください。

モデルフレームワークベースVLMリンク
Qwen3-VL-GR00T-Robocasa-gr1QwenGR00TQwen3-VL-4BHF
Qwen3-VL-OFT-RobocasaQwenOFTQwen3-VL-4BHF

RoboTwin 2.0双腕操作ベンチマーク、50タスク。RoboTwin評価ドキュメントを参照してください。

モデルフレームワークベースVLMリンク
Qwen3-VL-OFT-Robotwin2-AllQwenOFTQwen3-VL-4BHF
Qwen3-VL-OFT-Robotwin2QwenOFTQwen3-VL-4BHF

BEHAVIOR-1K家事タスクベンチマーク、R1Proヒューマノイドロボットを使用。BEHAVIOR評価ドキュメントを参照してください。

モデル説明リンク
BEHAVIOR-QwenDual-taskall全50タスクで共同トレーニングHF
BEHAVIOR-QwenDual-task1シングルタスクトレーニングHF
BEHAVIOR-QwenDual-task6-40k6タスク共同トレーニングHF
BEHAVIOR-rgp-segセグメンテーション観測実験HF

データセット説明リンク
LLaVA-OneVision-COCOVLM共同トレーニング用の画像テキストデータセット(ShareGPT4V-COCOサブセット)HF
RoboTwin-CleanRoboTwin 2.0クリーンデモンストレーション(タスクあたり50件)HF
RoboTwin-RandomizedRoboTwin 2.0ランダム化デモンストレーション(タスクあたり500件)HF
RoboTwin-Randomized-targz上記と同じ、tar.gzパック形式(一括ダウンロード用)HF
データセット説明リンク
BEHAVIOR-1KBEHAVIOR-1Kベンチマークシミュレーション設定HF
BEHAVIOR-1K-datasetsBEHAVIOR-1KトレーニングデータセットHF
BEHAVIOR-1K-datasets-assetsBEHAVIOR-1KシーンおよびオブジェクトアセットHF
BEHAVIOR-1K-VISUALIZATION-DEMOBEHAVIOR-1K可視化デモHF
behavior-1k-task0シングルタスクトレーニングデータサンプルHF

チェックポイントをダウンロードしてポリシーサーバーを実行します:

Terminal window
# ダウンロード(huggingface_hubが必要)
huggingface-cli download StarVLA/Qwen3VL-GR00T-Bridge-RT-1 --local-dir ./results/Checkpoints/Qwen3VL-GR00T-Bridge-RT-1
# ポリシーサーバーの起動
python deployment/model_server/server_policy.py \
# steps_XXXXXはトレーニングステップ数です -- ダウンロードしたファイルの実際のファイル名に置き換えてください
# 例: steps_50000_pytorch_model.pt; `ls`で正確なファイル名を確認してください
--ckpt_path ./results/Checkpoints/Qwen3VL-GR00T-Bridge-RT-1/checkpoints/steps_XXXXX_pytorch_model.pt \
--port 5694 \
--use_bf16

その後、テストしたいベンチマークの評価ガイドに従ってください(例: SimplerEnvLIBERORoboCasaRoboTwinBEHAVIOR)。