Pusher (推桿)

此環境是 Mujoco 環境的一部分，其中包含關於環境的通用資訊。

動作空間	Box(-2.0, 2.0, (7,), float32)
觀察空間	Box(-inf, inf, (23,), float64)
import	gymnasium.make("Pusher-v5")

描述

“Pusher (推桿)” 是一個多關節機器手臂，非常類似於人類的手臂。目標是使用機器人的末端效應器（稱為指尖）將目標圓柱體（稱為物體）移動到目標位置。 機器人由肩膀、手肘、前臂和手腕關節組成。

動作空間

動作空間是一個 Box(-2, 2, (7,), float32)。 一個動作 (a, b) 代表施加在鉸鏈關節上的扭矩。

編號	動作	控制最小值	控制最大值	名稱 (在對應的 XML 檔案中)	關節	類型 (單位)
0	肩部水平旋轉	-2	2	r_shoulder_pan_joint	鉸鏈	扭矩 (N m)
1	肩部抬升關節的旋轉	-2	2	r_shoulder_lift_joint	鉸鏈	扭矩 (N m)
2	肩部滾動關節的旋轉	-2	2	r_upper_arm_roll_joint	鉸鏈	扭矩 (N m)
3	彎曲手肘的鉸鏈關節旋轉	-2	2	r_elbow_flex_joint	鉸鏈	扭矩 (N m)
4	滾動前臂的鉸鏈旋轉	-2	2	r_forearm_roll_joint	鉸鏈	扭矩 (N m)
5	彎曲手腕的旋轉	-2	2	r_wrist_flex_joint	鉸鏈	扭矩 (N m)
6	滾動手腕的旋轉	-2	2	r_wrist_roll_joint	鉸鏈	扭矩 (N m)

觀察空間

觀察空間包含以下部分（依序）

• qpos (7 個元素): 機器人身體部位的位置值。

• qvel (7 個元素): 這些個別身體部位的速度（它們的導數）。

• xpos (3 個元素): 推桿指尖的座標。

• xpos (3 個元素): 要移動的物體的座標。

• xpos (3 個元素): 目標位置的座標。

觀察空間是一個 Box(-Inf, Inf, (17,), float64)，其中元素如下

編號	觀察	最小值	最大值	名稱 (在對應的 XML 檔案中)	關節	類型 (單位)
0	肩部水平旋轉	-Inf	Inf	r_shoulder_pan_joint	鉸鏈	角度 (rad)
1	肩部抬升關節的旋轉	-Inf	Inf	r_shoulder_lift_joint	鉸鏈	角度 (rad)
2	肩部滾動關節的旋轉	-Inf	Inf	r_upper_arm_roll_joint	鉸鏈	角度 (rad)
3	彎曲手肘的鉸鏈關節旋轉	-Inf	Inf	r_elbow_flex_joint	鉸鏈	角度 (rad)
4	滾動前臂的鉸鏈旋轉	-Inf	Inf	r_forearm_roll_joint	鉸鏈	角度 (rad)
5	彎曲手腕的旋轉	-Inf	Inf	r_wrist_flex_joint	鉸鏈	角度 (rad)
6	滾動手腕的旋轉	-Inf	Inf	r_wrist_roll_joint	鉸鏈	角度 (rad)
7	肩部水平旋轉的角速度	-Inf	Inf	r_shoulder_pan_joint	鉸鏈	角速度 (rad/s)
8	肩部抬升關節的角速度	-Inf	Inf	r_shoulder_lift_joint	鉸鏈	角速度 (rad/s)
9	肩部滾動關節的角速度	-Inf	Inf	r_upper_arm_roll_joint	鉸鏈	角速度 (rad/s)
10	彎曲手肘的鉸鏈關節角速度	-Inf	Inf	r_elbow_flex_joint	鉸鏈	角速度 (rad/s)
11	滾動前臂的鉸鏈角速度	-Inf	Inf	r_forearm_roll_joint	鉸鏈	角速度 (rad/s)
12	彎曲手腕的角速度	-Inf	Inf	r_wrist_flex_joint	鉸鏈	角速度 (rad/s)
13	滾動手腕的角速度	-Inf	Inf	r_wrist_roll_joint	鉸鏈	角速度 (rad/s)
14	推桿指尖的 x 座標	-Inf	Inf	tips_arm	slide	位置 (m)
15	推桿指尖的 y 座標	-Inf	Inf	tips_arm	slide	位置 (m)
16	推桿指尖的 z 座標	-Inf	Inf	tips_arm	slide	位置 (m)
17	要移動的物體的 x 座標	-Inf	Inf	object (obj_slidex)	slide	位置 (m)
18	要移動的物體的 y 座標	-Inf	Inf	object (obj_slidey)	slide	位置 (m)
19	要移動的物體的 z 座標	-Inf	Inf	object	cylinder	位置 (m)
20	物體目標位置的 x 座標	-Inf	Inf	goal (goal_slidex)	slide	位置 (m)
21	物體目標位置的 y 座標	-Inf	Inf	goal (goal_slidey)	slide	位置 (m)
22	物體目標位置的 z 座標	-Inf	Inf	goal	sphere	位置 (m)

為了理解狀態空間，可以將其比擬為人類的手臂，「彎曲」和「滾動」的詞彙與人類關節中的含義相同。

獎勵

總獎勵為：reward = reward_dist + reward_ctrl + reward_near。

• reward_near：此獎勵衡量推桿的指尖（未連接的末端）與物體之間的距離，當推桿的指尖離目標更遠時，會分配更負的值。它是 \(-w_{near} \|(P_{fingertip} - P_{target})\|_2\)。其中 \(w_{near}\) 是 reward_near_weight (預設值為 \(0.5\))。

• reward_dist：此獎勵衡量物體與目標目標位置之間的距離，如果物體離目標更遠，則會分配更負的值。它是 \(-w_{dist} \|(P_{object} - P_{target})\|_2\)。其中 \(w_{dist}\) 是 reward_dist_weight (預設值為 \(1\))。

• reward_control：對推桿採取過大動作的負獎勵。 它以動作的負平方歐幾里得範數來衡量，即 \(-w_{control} \|action\|_2^2\)。其中 \(w_{control}\) 是 reward_control_weight (預設值為 \(0.1\))。

info 包含個別的獎勵項。

起始狀態

Pusher (推桿) 手臂的初始位置狀態為 \(0_{6}\)。物體的初始位置狀態為 \(\mathcal{U}_{[[-0.3, -0.2], [0, 0.2]]}\)。目標的位置狀態（永久）為 \([0.45, -0.05, -0.323]\)。Pusher (推桿) 手臂的初始速度狀態為 \(\mathcal{U}_{[-0.005 \times I_{6}, 0.005 \times I_{6}]}\)。物體的初始速度狀態為 \(0_2\)。目標的速度狀態（永久）為 \(0_3\)。

其中 \(\mathcal{U}\) 是多元均勻連續分佈。

請注意，物體的初始位置狀態會被採樣，直到其與目標的距離 \( > 0.17 m\)。

預設幀率為 5，每幀持續 0.01，因此 dt = 5 * 0.01 = 0.05。

回合結束

終止

Pusher (推桿) 永遠不會終止。

截斷

回合的預設持續時間為 100 個時間步。

參數

Pusher (推桿) 提供一系列參數來修改觀察空間、獎勵函數、初始狀態和終止條件。 這些參數可以在 gymnasium.make 中以以下方式應用

import gymnasium as gym
env = gym.make('Pusher-v5', xml_file=...)

參數	類型	預設值	描述
xml_file	str	"pusher_v5.xml"	MuJoCo 模型的路徑
reward_near_weight	float	0.5	reward_near 項的權重（請參閱 獎勵 章節）
reward_dist_weight	float	1	reward_dist 項的權重（請參閱 獎勵 章節）
reward_control_weight	float	0.1	reward_control 項的權重（請參閱 獎勵 章節）

版本歷史

• v5

  • 最低 mujoco 版本現在為 2.3.3。

  • 修正錯誤：增加物體的密度以高於空氣（相關 GitHub issue）。

  • 新增 default_camera_config 參數，一個用於設定 mj_camera 屬性的字典，主要用於自訂環境。

  • 新增 frame_skip 參數，用於配置 dt （step() 的持續時間），預設值因環境而異，請查看環境文件頁面。

  • 新增 xml_file 參數。

  • 修正錯誤：reward_distance & reward_near 基於物理步驟之前的狀態，現在它基於物理步驟之後的狀態（相關 GitHub issue）。

  • 新增 reward_near_weight、reward_dist_weight、reward_control_weight 參數以配置獎勵函數（預設值與 v4 中的值基本相同）。

  • 修正 info["reward_ctrl"] 未乘以獎勵權重的錯誤。

  • 新增 info["reward_near"]，它等於獎勵項 reward_near。

• v4：所有 MuJoCo 環境現在都使用 mujoco >= 2.1.3 中的 MuJoCo bindings。

  • 警告：此版本的環境與 mujoco>=3.0.0 不相容（相關 GitHub issue）。

• v3：此環境沒有 v3 版本發行。

• v2：所有連續控制環境現在都使用 mujoco-py >= 1.50。

• v1：機器人任務的最大時間步數提高到 1000（不包括 pusher (推桿)，其最大時間步數為 100）。為環境新增 reward_threshold。

• v0：初始版本發行。