Walker2D

此環境是 Mujoco 環境的一部分，其中包含有關該環境的一般資訊。

動作空間	Box(-1.0, 1.0, (6,), float32)
觀察空間	Box(-inf, inf, (17,), float64)
匯入	gymnasium.make("Walker2d-v5")

描述

此環境基於 hopper 環境，增加了一組額外的腿，使機器人可以向前行走而不是跳躍。與其他 MuJoCo 環境一樣，此環境旨在增加相對於經典控制環境的獨立狀態和控制變數的數量。步行者是一個二維雙足機器人，由七個主要身體部位組成：頂部一個單一的軀幹（兩條腿在軀幹後分開）、軀幹下方中間的兩個大腿、大腿下方的兩條腿，以及連接在腿上的兩個腳，整個身體都靠在腳上。目標是透過對連接七個身體部位的六個鉸鏈施加扭矩，以向前（右）方向行走。

動作空間

動作空間是 Box(-1, 1, (6,), float32)。動作表示在鉸鏈關節上施加的扭矩。

編號	動作	控制最小值	控制最大值	名稱（在相應的 XML 檔案中）	關節	類型（單位）
0	施加在大腿轉子上的扭矩	-1	1	thigh_joint	鉸鏈	扭矩 (N m)
1	施加在腿部轉子上的扭矩	-1	1	leg_joint	鉸鏈	扭矩 (N m)
2	施加在腳部轉子上的扭矩	-1	1	foot_joint	鉸鏈	扭矩 (N m)
3	施加在左大腿轉子上的扭矩	-1	1	thigh_left_joint	鉸鏈	扭矩 (N m)
4	施加在左腿轉子上的扭矩	-1	1	leg_left_joint	鉸鏈	扭矩 (N m)
5	施加在左腳轉子上的扭矩	-1	1	foot_left_joint	鉸鏈	扭矩 (N m)

觀察空間

觀察空間由以下部分組成（依序）

• qpos (預設為 8 個元素): 機器人身體部位的位置值。

• qvel (9 個元素): 這些個別身體部位的速度（它們的導數）。

預設情況下，觀察不包含機器人的 x 坐標 (rootx)。可以透過在建構期間傳遞 exclude_current_positions_from_observation=False 來包含此項。在這種情況下，觀察空間將是一個 Box(-Inf, Inf, (18,), float64)，其中第一個觀察元素是機器人的 x 坐標。無論 exclude_current_positions_from_observation 設定為 True 還是 False，x 坐標都會在 info 中傳回，並且分別具有 "x_position" 和 "y_position" 的鍵。

但是，預設情況下，觀察空間是一個 Box(-Inf, Inf, (17,), float64)，其中元素如下

編號	觀察	最小值	最大值	名稱（在相應的 XML 檔案中）	關節	類型（單位）
0	軀幹的 z 坐標（Walker2d 的高度）	-Inf	Inf	rootz	滑動	位置 (m)
1	軀幹的角度	-Inf	Inf	rooty	鉸鏈	角度 (rad)
2	大腿關節的角度	-Inf	Inf	thigh_joint	鉸鏈	角度 (rad)
3	腿部關節的角度	-Inf	Inf	leg_joint	鉸鏈	角度 (rad)
4	腳部關節的角度	-Inf	Inf	foot_joint	鉸鏈	角度 (rad)
5	左大腿關節的角度	-Inf	Inf	thigh_left_joint	鉸鏈	角度 (rad)
6	左腿關節的角度	-Inf	Inf	leg_left_joint	鉸鏈	角度 (rad)
7	左腳關節的角度	-Inf	Inf	foot_left_joint	鉸鏈	角度 (rad)
8	軀幹的 x 坐標速度	-Inf	Inf	rootx	滑動	速度 (m/s)
9	軀幹的 z 坐標（高度）速度	-Inf	Inf	rootz	滑動	速度 (m/s)
10	軀幹角度的角速度	-Inf	Inf	rooty	鉸鏈	角速度 (rad/s)
11	大腿鉸鏈的角速度	-Inf	Inf	thigh_joint	鉸鏈	角速度 (rad/s)
12	腿部鉸鏈的角速度	-Inf	Inf	leg_joint	鉸鏈	角速度 (rad/s)
13	腳部鉸鏈的角速度	-Inf	Inf	foot_joint	鉸鏈	角速度 (rad/s)
14	大腿鉸鏈的角速度	-Inf	Inf	thigh_left_joint	鉸鏈	角速度 (rad/s)
15	腿部鉸鏈的角速度	-Inf	Inf	leg_left_joint	鉸鏈	角速度 (rad/s)
16	腳部鉸鏈的角速度	-Inf	Inf	foot_left_joint	鉸鏈	角速度 (rad/s)
排除的	軀幹的 x 坐標	-Inf	Inf	rootx	滑動	位置 (m)

獎勵

總獎勵為：獎勵 = 健康獎勵加成 + 向前獎勵 - 控制成本。

• 健康獎勵：Walker2d 每次存活時，都會收到一個固定的獎勵值 healthy_reward (預設值為 \(1\))，

• 向前獎勵：向前移動的獎勵，如果 Swimmer 向前移動（在正 \(x\) 方向/向右方向），則此獎勵為正值。\(w_{forward} \times \frac{dx}{dt}\)，其中 \(dx\) 是（前）「尖端」的位移（\(x_{after-action} - x_{before-action}\)），\(dt\) 是動作之間的時間，這取決於 frame_skip 參數（預設值為 \(4\)）和 frametime，它是 \(0.002\) - 所以預設值是 \(dt = 4 \times 0.002 = 0.008\)，\(w_{forward}\) 是 forward_reward_weight（預設值為 \(1\)）。

• 控制成本：對 Walker2d 採取過大動作的負獎勵。\(w_{control} \times \|action\|_2^2\)，其中 \(w_{control}\) 是 ctrl_cost_weight（預設值為 \(10^{-3}\)）。

info 包含個別獎勵項。

起始狀態

初始位置狀態為 \([0, 1.25, 0, 0, 0, 0, 0, 0, 0] + \mathcal{U}_{[-reset\_noise\_scale \times I_{9}, reset\_noise\_scale \times I_{9}]}\)。初始速度狀態為 \(\mathcal{U}_{[-reset\_noise\_scale \times I_{9}, reset\_noise\_scale \times I_{9}]}\)。

其中 \(\mathcal{U}\) 是多元均勻連續分佈。

請注意，z 坐標不為零，以便 Walker2d 可以立即站立起來。

回合結束

終止

如果 terminate_when_unhealthy 為 True（這是預設值），當 Walker2d 不健康時，環境會終止。如果發生以下任何情況，則 Walker2d 不健康

1. 任何狀態空間值不再是有限的

2. 軀幹的 z 坐標（高度）不在 healthy_z_range 參數給定的閉合區間內（預設為 \([0.8, 1.0]\)）。

3. 角度的絕對值（如果 exclude_current_positions_from_observation=False，則為 observation[1]，否則為 observation[2]）不在 healthy_angle_range 參數指定的閉合區間內（預設為 \([-1, 1]\)）。

截斷

回合的預設持續時間為 1000 個時間步。

參數

Walker2d 提供了一系列參數，可以修改觀察空間、獎勵函數、初始狀態和終止條件。這些參數可以在 gymnasium.make 期間透過以下方式應用

import gymnasium as gym
env = gym.make('Walker2d-v5', ctrl_cost_weight=1e-3, ...)

參數	類型	預設值	描述
xml_file	str	"walker2d_v5.xml"	MuJoCo 模型的路徑
forward_reward_weight	float	1	向前獎勵 項的權重（請參閱 獎勵 章節）
ctrl_cost_weight	float	1e-3	控制成本 項的權重（請參閱 獎勵 章節）
healthy_reward	float	1	健康獎勵 的權重（請參閱 獎勵 章節）
terminate_when_unhealthy	bool	True	如果為 True，則在不健康時發出 terminated 訊號（請參閱 回合 結束 章節）
healthy_z_range	tuple	(0.8, 2)	步行者的軀幹 z 坐標必須在此範圍內才被視為健康（請參閱 回合 結束 章節）
healthy_angle_range	tuple	(-1, 1)	角度必須在此範圍內才被視為健康 (請參閱 Episode End 章節)
reset_noise_scale	float	5e-3	初始位置和速度隨機擾動的比例 (請參閱 Starting State 章節)
exclude_current_positions_from_observation	bool	True	是否要從觀測中省略 x 座標。排除位置可以作為一種歸納偏見，以誘導策略中不依賴位置的行為 (請參閱 Observation Space 章節)

版本歷史

• v5

  • 現在最低 mujoco 版本為 2.3.3。

  • 使用 xml_file 參數新增對完全客製化/第三方 mujoco 模型 的支援 (先前只能對現有模型進行少量變更)。

  • 新增 default_camera_config 參數，這是一個用於設定 mj_camera 屬性的字典，主要用於客製化環境。

  • 新增 env.observation_structure，這是一個用於指定觀測空間組成 (例如 qpos、qvel) 的字典，有助於為 MuJoCo 環境建立工具和包裝器。

  • 使用 reset() 回傳非空的 info，先前會回傳空字典，新的鍵與 step() 的狀態資訊相同。

  • 新增 frame_skip 參數，用於設定 dt ( step() 的持續時間)，預設值因環境而異，請查看環境文件頁面。

  • 在 v2、v3 和 v4 中，兩個腳的摩擦值不同 (左腳摩擦 == 1.9，右腳摩擦 == 0.9)。Walker-v5 模型已更新為兩個腳的摩擦力相同 (設定為 1.9)。這使得 Walker2d 的右腳在表面上滑動較少，因此需要更大的力才能移動 (相關 GitHub issue)。

  • 修復錯誤：healthy_reward 在每個步驟中都會給予 (即使 Walker2D 不健康)，現在只在 Walker2d 健康時才會給予。info 中的 "reward_survive" 已更新以反映此變更 (相關 GitHub issue)。

  • 恢復 xml_file 參數 (已在 v4 中移除)。

  • 在 info 中新增個別的獎勵項 (info["reward_forward"]、info["reward_ctrl"]、info["reward_survive"])。

  • 新增 info["z_distance_from_origin"]，等於 "torso" 主體與其初始位置的垂直距離。

• v4：所有 MuJoCo 環境現在都使用 mujoco >= 2.1.3 中的 MuJoCo 綁定。

• v3：支援 gymnasium.make kwargs，例如 xml_file、ctrl_cost_weight、reset_noise_scale 等。rgb 渲染來自追蹤攝影機 (因此代理不會從螢幕跑開)

• v2：所有連續控制環境現在都使用 mujoco-py >= 1.50

• v1：針對基於機器人的任務，max_time_steps 提高到 1000。為環境新增了 reward_threshold。

• v0：初始版本發布