Pusher¶

此環境是 MuJoCo 環境的一部分，其中包含有關環境的一般資訊。


動作空間	`Box(-2.0, 2.0, (7,), float32)`
觀察空間	`Box(-inf, inf, (23,), float64)`
匯入	`gymnasium.make("Pusher-v5")`

描述¶

「Pusher」是一個多關節機械手臂，非常類似於人類的手臂。目標是使用機器人的末端執行器（稱為指尖）將目標圓柱體（稱為物件）移動到目標位置。機器人由肩膀、肘部、前臂和手腕關節組成。

動作空間¶

動作空間為 Box(-2, 2, (7,), float32)。動作 (a, b) 表示施加在鉸鏈關節上的扭矩。

編號	動作	控制最小值	控制最大值	名稱（在對應的 XML 檔案中）	關節	類型（單位）
0	肩膀平移旋轉	-2	2	r_shoulder_pan_joint	鉸鏈	扭矩 (N m)
1	肩膀抬起關節的旋轉	-2	2	r_shoulder_lift_joint	鉸鏈	扭矩 (N m)
2	肩膀滾動關節的旋轉	-2	2	r_upper_arm_roll_joint	鉸鏈	扭矩 (N m)
3	彎曲肘部的鉸鏈關節的旋轉	-2	2	r_elbow_flex_joint	鉸鏈	扭矩 (N m)
4	滾動前臂的鉸鏈旋轉	-2	2	r_forearm_roll_joint	鉸鏈	扭矩 (N m)
5	彎曲手腕的旋轉	-2	2	r_wrist_flex_joint	鉸鏈	扭矩 (N m)
6	滾動手腕的旋轉	-2	2	r_wrist_roll_joint	鉸鏈	扭矩 (N m)

觀察空間¶

觀察空間由以下部分組成（依序）

qpos（7 個元素）：機器人身體部位的位置值。
qvel（7 個元素）：這些個別身體部位的速度（其導數）。
xpos（3 個元素）：Pusher 指尖的坐標。
xpos（3 個元素）：要移動的物件的坐標。
xpos（3 個元素）：目標位置的坐標。

觀察空間為 Box(-Inf, Inf, (17,), float64)，其中元素如下

編號	觀察	最小值	最大值	名稱（在對應的 XML 檔案中）	關節	類型（單位）
0	肩膀平移旋轉	-Inf	Inf	r_shoulder_pan_joint	鉸鏈	角度 (rad)
1	肩膀抬起關節的旋轉	-Inf	Inf	r_shoulder_lift_joint	鉸鏈	角度 (rad)
2	肩膀滾動關節的旋轉	-Inf	Inf	r_upper_arm_roll_joint	鉸鏈	角度 (rad)
3	彎曲肘部的鉸鏈關節的旋轉	-Inf	Inf	r_elbow_flex_joint	鉸鏈	角度 (rad)
4	滾動前臂的鉸鏈旋轉	-Inf	Inf	r_forearm_roll_joint	鉸鏈	角度 (rad)
5	彎曲手腕的旋轉	-Inf	Inf	r_wrist_flex_joint	鉸鏈	角度 (rad)
6	滾動手腕的旋轉	-Inf	Inf	r_wrist_roll_joint	鉸鏈	角度 (rad)
7	肩膀平移旋轉的角速度	-Inf	Inf	r_shoulder_pan_joint	鉸鏈	角速度 (rad/s)
8	肩膀抬起關節的角速度	-Inf	Inf	r_shoulder_lift_joint	鉸鏈	角速度 (rad/s)
9	肩膀滾動關節的角速度	-Inf	Inf	r_upper_arm_roll_joint	鉸鏈	角速度 (rad/s)
10	彎曲肘部的鉸鏈關節的角速度	-Inf	Inf	r_elbow_flex_joint	鉸鏈	角速度 (rad/s)
11	滾動前臂的鉸鏈的角速度	-Inf	Inf	r_forearm_roll_joint	鉸鏈	角速度 (rad/s)
12	彎曲手腕的角速度	-Inf	Inf	r_wrist_flex_joint	鉸鏈	角速度 (rad/s)
13	滾動手腕的角速度	-Inf	Inf	r_wrist_roll_joint	鉸鏈	角速度 (rad/s)
14	Pusher 指尖的 x 坐標	-Inf	Inf	tips_arm	滑塊	位置 (m)
15	Pusher 指尖的 y 坐標	-Inf	Inf	tips_arm	滑塊	位置 (m)
16	Pusher 指尖的 z 坐標	-Inf	Inf	tips_arm	滑塊	位置 (m)
17	要移動的物件的 x 坐標	-Inf	Inf	物件 (obj_slidex)	滑塊	位置 (m)
18	要移動的物件的 y 坐標	-Inf	Inf	物件 (obj_slidey)	滑塊	位置 (m)
19	要移動的物件的 z 坐標	-Inf	Inf	物件	圓柱體	位置 (m)
20	物件目標位置的 x 坐標	-Inf	Inf	目標 (goal_slidex)	滑塊	位置 (m)
21	物件目標位置的 y 坐標	-Inf	Inf	目標 (goal_slidey)	滑塊	位置 (m)
22	物件目標位置的 z 坐標	-Inf	Inf	目標	球體	位置 (m)

為了理解狀態空間，可以將其類比為人類的手臂，其中「彎曲」和「滾動」這兩個詞的含義與人類關節中的含義相同。

獎勵¶

總獎勵為：獎勵 = reward_dist + reward_ctrl + reward_near。

reward_near：此獎勵衡量 Pusher 的指尖（未連接的末端）與物件的距離，當 Pusher 的指尖離目標更遠時，會分配一個更負的值。它是 \(-w_{near} \|(P_{fingertip} - P_{target})\|_2\)。其中 \(w_{near}\) 是 reward_near_weight（預設為 \(0.5\)）。
reward_dist：此獎勵衡量物件與目標位置的距離，如果物件離目標更遠，則分配更負的值。它是 \(-w_{dist} \|(P_{object} - P_{target})\|_2\)。其中 \(w_{dist}\) 是 reward_dist_weight（預設為 \(1\)）。
reward_control：對 Pusher 採取過大動作進行懲罰的負獎勵。它被測量為動作的負平方歐幾里得範數，即 \(-w_{control} \|action\|_2^2\)。其中 \(w_{control}\) 是 reward_control_weight（預設為 \(0.1\)）。

info 包含個別的獎勵項。

起始狀態¶

Pusher 手臂的初始位置狀態為 \(0_{6}\)。物件的初始位置狀態為 \(\mathcal{U}_{[[-0.3, -0.2], [0, 0.2]]}\)。目標的位置狀態（永久）為 \([0.45, -0.05, -0.323]\)。Pusher 手臂的初始速度狀態為 \(\mathcal{U}_{[-0.005 \times I_{6}, 0.005 \times I_{6}]}\)。物件的初始速度狀態為 \(0_2\)。目標的速度狀態（永久）為 \(0_3\)。

其中 \(\mathcal{U}\) 是多元均勻連續分佈。

請注意，物件的初始位置狀態會一直採樣到其與目標的距離 \( > 0.17 m\)。

預設影格速率為 5，每個影格持續 0.01，因此 dt = 5 * 0.01 = 0.05。

回合結束¶

終止¶

Pusher 永遠不會終止。

截斷¶

回合的預設持續時間為 100 個時間步。

引數¶

Pusher 提供一系列參數來修改觀察空間、獎勵函數、初始狀態和終止條件。這些參數可以在 gymnasium.make 期間以以下方式應用

import gymnasium as gym
env = gym.make('Pusher-v5', xml_file=...)

參數	類型	預設值	描述
`xml_file`	str	`"pusher_v5.xml"`	MuJoCo 模型的路徑
`reward_near_weight`	float	`0.5`	reward_near 項的權重（請參閱 `獎勵` 部分）
`reward_dist_weight`	float	`1`	reward_dist 項的權重（請參閱 `獎勵` 部分）
`reward_control_weight`	float	`0.1`	reward_control 項的權重（請參閱 `獎勵` 部分）

版本歷史¶

v5
- 最低 mujoco 版本現在為 2.3.3。
- 修正錯誤：將物件的密度增加到高於空氣（相關 GitHub 問題）。
- 新增 default_camera_config 引數，這是一個用於設定 mj_camera 屬性的字典，主要用於自訂環境。
- 新增 frame_skip 引數，用於設定 dt（step() 的持續時間），預設值因環境而異，請查看環境文件頁面。
- 新增 xml_file 引數。
- 修正錯誤：reward_distance 與 reward_near 原先是基於物理步驟之前的狀態，現在改為基於物理步驟之後的狀態（相關 GitHub 問題）。
- 新增 reward_near_weight、reward_dist_weight、reward_control_weight 參數，用於設定獎勵函數（預設值與 v4 中的效果相同）。
- 修正 info["reward_ctrl"] 未乘以獎勵權重的問題。
- 新增 info["reward_near"]，其值等於獎勵項 reward_near。
v4：所有 MuJoCo 環境現在皆使用 mujoco >= 2.1.3 中的 MuJoCo 綁定。
- 警告：此版本的環境與 mujoco>=3.0.0 不相容（相關 GitHub 問題）。
v3：此環境沒有 v3 版本。
v2：所有連續控制環境現在皆使用 mujoco-py >= 1.50。
v1：機器人任務的最大時間步數提升至 1000（不包括 pusher，其最大時間步數為 100）。在環境中新增了 reward_threshold。
v0：初始版本發布。