人形機器人

此環境是 Mujoco 環境的一部分，其中包含關於環境的一般資訊。

動作空間	Box(-0.4, 0.4, (17,), float32)
觀察空間	Box(-inf, inf, (348,), float64)
導入	gymnasium.make("Humanoid-v5")

描述

此環境基於 Tassa、Erez 和 Todorov 在 「透過線上軌跡優化合成和穩定複雜行為」 中引入的環境。3D 雙足機器人旨在模擬人類。它有一個軀幹（腹部），帶有一雙腿和手臂，以及一對將臀部連接到膝蓋的肌腱。腿部分別由三個身體部位（大腿、小腿、腳）組成，手臂由兩個身體部位（上臂、前臂）組成。環境的目標是盡可能快地向前行走而不跌倒。

動作空間

動作空間為 Box(-0.4, 0.4, (17,), float32)。一個動作表示施加在鉸鏈關節上的扭矩。

編號	動作	控制最小值	控制最大值	名稱（在相應的 XML 檔案中）	關節	類型（單位）
0	施加在腹部 y 座標上的鉸鏈上的扭矩	-0.4	0.4	abdomen_y	鉸鏈	扭矩（N m）
1	施加在腹部 z 座標上的鉸鏈上的扭矩	-0.4	0.4	abdomen_z	鉸鏈	扭矩（N m）
2	施加在腹部 x 座標上的鉸鏈上的扭矩	-0.4	0.4	abdomen_x	鉸鏈	扭矩（N m）
3	施加在軀幹/腹部和右髖部（x 座標）之間的轉子上的扭矩	-0.4	0.4	right_hip_x (right_thigh)	鉸鏈	扭矩（N m）
4	施加在軀幹/腹部和右髖部（z 座標）之間的轉子上的扭矩	-0.4	0.4	right_hip_z (right_thigh)	鉸鏈	扭矩（N m）
5	施加在軀幹/腹部和右髖部（y 座標）之間的轉子上的扭矩	-0.4	0.4	right_hip_y (right_thigh)	鉸鏈	扭矩（N m）
6	施加在右髖/大腿和右小腿之間的轉子上的扭矩	-0.4	0.4	right_knee	鉸鏈	扭矩（N m）
7	施加在軀幹/腹部和左髖部（x 座標）之間的轉子上的扭矩	-0.4	0.4	left_hip_x (left_thigh)	鉸鏈	扭矩（N m）
8	施加在軀幹/腹部和左髖部（z 座標）之間的轉子上的扭矩	-0.4	0.4	left_hip_z (left_thigh)	鉸鏈	扭矩（N m）
9	施加在軀幹/腹部和左髖部（y 座標）之間的轉子上的扭矩	-0.4	0.4	left_hip_y (left_thigh)	鉸鏈	扭矩（N m）
10	施加在左髖/大腿和左小腿之間的轉子上的扭矩	-0.4	0.4	left_knee	鉸鏈	扭矩（N m）
11	施加在軀幹和右上臂之間的轉子上的扭矩（座標 -1）	-0.4	0.4	right_shoulder1	鉸鏈	扭矩（N m）
12	施加在軀幹和右上臂之間的轉子上的扭矩（座標 -2）	-0.4	0.4	right_shoulder2	鉸鏈	扭矩（N m）
13	施加在右上臂和右下臂之間的轉子上的扭矩	-0.4	0.4	right_elbow	鉸鏈	扭矩（N m）
14	施加在軀幹和左上臂之間的轉子上的扭矩（座標 -1）	-0.4	0.4	left_shoulder1	鉸鏈	扭矩（N m）
15	施加在軀幹和左上臂之間的轉子上的扭矩（座標 -2）	-0.4	0.4	left_shoulder2	鉸鏈	扭矩（N m）
16	施加在左上臂和左下臂之間的轉子上的扭矩	-0.4	0.4	left_elbow	鉸鏈	扭矩（N m）

觀察空間

觀察空間由以下部分組成（依序）

• qpos（預設為 22 個元素）：機器人身體部位的位置值。

• qvel（23 個元素）：這些個別身體部位的速度（它們的導數）。

• cinert（130 個元素）：剛性身體部位相對於質心的質量和慣性（這是過渡的中间结果）。它的形狀為 13*10 (nbody * 10)。 (cinert - 慣性矩陣和體重偏移和體重)

• cvel（78 個元素）：基於質心的速度。它的形狀為 13 * 6 (nbody * 6)。 (質心速度 - 速度 x、y、z 和角速度 x、y、z)

• qfrc_actuator（17 個元素）：在每個關節上作為致動器力產生的約束力。它的形狀為 (17,) (nv * 1)。

• cfrc_ext（78 個元素）：這是基於質心的身體部位上的外力。它的形狀為 13 * 6 (nbody * 6)，因此觀察空間會增加另外 78 個元素。(外力 - 力 x、y、z 和扭矩 x、y、z)

其中 nbody 是機器人中的身體數量，而 nv 是自由度的數量 (= dim(qvel))。

預設情況下，觀察不包括軀幹的 x 和 y 座標。這些可以透過在建構期間傳遞 exclude_current_positions_from_observation=False 來包含。在這種情況下，觀察空間將為 Box(-Inf, Inf, (350,), float64)，其中前兩個觀察值是軀幹的 x 和 y 座標。無論 exclude_current_positions_from_observation 是否設定為 True 或 False，x 和 y 座標都會在 info 中傳回，並分別使用 "x_position" 和 "y_position" 金鑰。

然而，預設情況下，觀察空間是 Box(-Inf, Inf, (348,), float64)，其中位置和速度元素如下

編號	觀察	最小值	最大值	名稱（在相應的 XML 檔案中）	關節	類型（單位）
0	軀幹（中心）的 z 座標	-Inf	Inf	根	自由	位置 (m)
1	軀幹（中心）的 w 方向	-Inf	Inf	根	自由	角度 (rad)
2	軀幹（中心）的 x 方向	-Inf	Inf	根	自由	角度 (rad)
3	軀幹（中心）的 y 方向	-Inf	Inf	根	自由	角度 (rad)
4	軀幹（中心）的 z 方向	-Inf	Inf	根	自由	角度 (rad)
5	腹部（在 lower_waist 中）的 z 角	-Inf	Inf	abdomen_z	鉸鏈	角度 (rad)
6	腹部（在 lower_waist 中）的 y 角	-Inf	Inf	abdomen_y	鉸鏈	角度 (rad)
7	腹部（在骨盆中）的 x 角	-Inf	Inf	abdomen_x	鉸鏈	角度 (rad)
8	骨盆和右髖部（在 right_thigh 中）之間角度的 x 座標	-Inf	Inf	right_hip_x	鉸鏈	角度 (rad)
9	骨盆和右髖部（在 right_thigh 中）之間角度的 z 座標	-Inf	Inf	right_hip_z	鉸鏈	角度 (rad)
10	骨盆和右髖部（在 right_thigh 中）之間角度的 y 座標	-Inf	Inf	right_hip_y	鉸鏈	角度 (rad)
11	右髖部和右小腿之間（在 right_knee 中）的角度	-Inf	Inf	right_knee	鉸鏈	角度 (rad)
12	骨盆和左髖部（在 left_thigh 中）之間角度的 x 座標	-Inf	Inf	left_hip_x	鉸鏈	角度 (rad)
13	骨盆和左髖部（在 left_thigh 中）之間角度的 z 座標	-Inf	Inf	left_hip_z	鉸鏈	角度 (rad)
14	骨盆和左髖部（在 left_thigh 中）之間角度的 y 座標	-Inf	Inf	left_hip_y	鉸鏈	角度 (rad)
15	左髖部和左小腿之間（在 left_knee 中）的角度	-Inf	Inf	left_knee	鉸鏈	角度 (rad)
16	軀幹和右臂之間（在 right_upper_arm 中）的角度的座標 -1（多軸）	-Inf	Inf	right_shoulder1	鉸鏈	角度 (rad)
17	軀幹和右臂之間（在 right_upper_arm 中）的角度的座標 -2（多軸）	-Inf	Inf	right_shoulder2	鉸鏈	角度 (rad)
18	右上臂和右下臂之間的角度	-Inf	Inf	right_elbow	鉸鏈	角度 (rad)
19	軀幹和左臂之間（在 left_upper_arm 中）的角度的座標 -1（多軸）	-Inf	Inf	left_shoulder1	鉸鏈	角度 (rad)
20	軀幹和左臂之間（在 left_upper_arm 中）的角度的座標 -2（多軸）	-Inf	Inf	left_shoulder2	鉸鏈	角度 (rad)
21	左上臂和左下臂之間的角度	-Inf	Inf	left_elbow	鉸鏈	角度 (rad)
22	軀幹（中心）的 x 座標速度	-Inf	Inf	根	自由	速度 (m/s)
23	軀幹（中心）的 y 座標速度	-Inf	Inf	根	自由	速度 (m/s)
24	軀幹（中心）的 z 座標速度	-Inf	Inf	根	自由	速度 (m/s)
25	軀幹（中心）的 x 座標角速度	-Inf	Inf	根	自由	角速度 (rad/s)
26	軀幹（中心）的 y 座標角速度	-Inf	Inf	根	自由	角速度 (rad/s)
27	軀幹（中心）的 z 座標角速度	-Inf	Inf	根	自由	角速度 (rad/s)
28	腹部（在 lower_waist 中）的角速度的 z 座標	-Inf	Inf	abdomen_z	鉸鏈	角速度 (rad/s)
29	腹部（在 lower_waist 中）的角速度的 y 座標	-Inf	Inf	abdomen_y	鉸鏈	角速度 (rad/s)
30	腹部（在骨盆中）的角速度的 x 座標	-Inf	Inf	abdomen_x	鉸鏈	角速度 (rad/s)
31	骨盆和右髖部之間角度（在 right_thigh 中）的角速度的 x 座標	-Inf	Inf	right_hip_x	鉸鏈	角速度 (rad/s)
32	骨盆和右髖部之間角度（在 right_thigh 中）的角速度的 z 座標	-Inf	Inf	right_hip_z	鉸鏈	角速度 (rad/s)
33	骨盆和右髖部之間角度（在 right_thigh 中）的角速度的 y 座標	-Inf	Inf	right_hip_y	鉸鏈	角速度 (rad/s)
34	右髖部和右小腿之間（在 right_knee 中）的角度的角速度	-Inf	Inf	right_knee	鉸鏈	角速度 (rad/s)
35	骨盆和左髖部之間角度（在 left_thigh 中）的角速度的 x 座標	-Inf	Inf	left_hip_x	鉸鏈	角速度 (rad/s)
36	骨盆和左髖部之間角度（在 left_thigh 中）的角速度的 z 座標	-Inf	Inf	left_hip_z	鉸鏈	角速度 (rad/s)
37	骨盆和左髖部之間角度（在 left_thigh 中）的角速度的 y 座標	-Inf	Inf	left_hip_y	鉸鏈	角速度 (rad/s)
38	左髖部和左小腿之間（在 left_knee 中）的角度的角速度	-Inf	Inf	left_knee	鉸鏈	角速度 (rad/s)
39	軀幹和右臂之間（在 right_upper_arm 中）的角度的角速度的座標 -1（多軸）	-Inf	Inf	right_shoulder1	鉸鏈	角速度 (rad/s)
40	軀幹和右臂之間（在 right_upper_arm 中）的角度的角速度的座標 -2（多軸）	-Inf	Inf	right_shoulder2	鉸鏈	角速度 (rad/s)
41	右上臂和右下臂之間的角度的角速度	-Inf	Inf	right_elbow	鉸鏈	角速度 (rad/s)
42	軀幹與左臂之間角度的角速度的坐標 1 (多軸) (在 left_upper_arm 中)	-Inf	Inf	left_shoulder1	鉸鏈	角速度 (rad/s)
43	軀幹與左臂之間角度的角速度的坐標 2 (多軸) (在 left_upper_arm 中)	-Inf	Inf	left_shoulder2	鉸鏈	角速度 (rad/s)
44	左上臂與左下臂之間角度的角速度	-Inf	Inf	left_elbow	鉸鏈	角速度 (rad/s)
已排除	軀幹 (中心) 的 x 坐標	-Inf	Inf	根	自由	位置 (m)
已排除	軀幹 (中心) 的 y 坐標	-Inf	Inf	根	自由	位置 (m)

身體部位為

身體部位	id (適用於 v2, v3, v4)	id (適用於 v5)
worldbody (注意：所有值皆為常數 0)	0	已排除
軀幹	1	0
腰部左側	2	1
骨盆	3	2
右大腿	4	3
右小腿	5	4
右腳	6	5
左大腿	7	6
左小腿	8	7
左腳	9	8
右上臂	10	9
右下臂	11	10
左上臂	12	11
左下臂	13	12

關節為

關節	id (適用於 v2, v3, v4)	id (適用於 v5)
根 (注意：所有值皆為常數 0)	0	已排除
根 (注意：所有值皆為常數 0)	1	已排除
根 (注意：所有值皆為常數 0)	2	已排除
根 (注意：所有值皆為常數 0)	3	已排除
根 (注意：所有值皆為常數 0)	4	已排除
根 (注意：所有值皆為常數 0)	5	已排除
abdomen_z	6	0
abdomen_y	7	1
abdomen_x	8	2
right_hip_x	9	3
right_hip_z	10	4
right_hip_y	11	5
right_knee	12	6
left_hip_x	13	7
左髖關節 z 軸	14	8
left_hip_y	15	9
left_knee	16	10
right_shoulder1	17	11
right_shoulder2	18	12
right_elbow	19	13
left_shoulder1	20	14
left_shoulder2	21	15
左肘關節	22	16

(x, y, z) 坐標為平移自由度，而方向則是表示為四元數的旋轉自由度。您可以在 MuJoCo 文件中閱讀更多關於自由關節的資訊。

注意：當使用 Humanoid-v3 或更早版本時，若使用 mujoco-py 版本 > 2.0，則會出現接觸力始終為 0 的問題。因此，若您想報告接觸力的結果，建議在使用 Humanoid 環境時使用 mujoco-py 版本 < 2.0（若您的實驗中未使用接觸力，則可以使用版本 > 2.0）。

獎勵

總獎勵為：獎勵 = 健康獎勵 + 前進獎勵 - 控制成本 - 接觸成本。

• 健康獎勵：在每個時間步，只要人形機器人存活（請參閱「回合結束」章節中的定義），它就會獲得固定的獎勵值 健康獎勵（預設值為 \(5\)）。

• 前進獎勵：為了鼓勵前進而設置的獎勵，如果人形機器人向前移動（在正 \(x\) 方向/向右移動），此獎勵為正。\(w_{forward} \times \frac{dx}{dt}\)，其中 \(dx\) 是質心的位移（\(x_{after-action} - x_{before-action}\)），\(dt\) 是動作之間的時間，這取決於 frame_skip 參數（預設值為 \(5\)），以及 frametime，其值為 \(0.001\) - 因此預設值為 \(dt = 5 \times 0.003 = 0.015\)，\(w_{forward}\) 是 forward_reward_weight（預設值為 \(1.25\)）。

• 控制成本：為了懲罰人形機器人採取過大的動作而設置的負獎勵。\(w_{control} \times \|action\|_2^2\)，其中 \(w_{control}\) 是 ctrl_cost_weight（預設值為 \(0.1\)）。

• 接觸成本：如果外部接觸力過大，為了懲罰人形機器人而設置的負獎勵。\(w_{contact} \times clamp(contact\_cost\_range, \|F_{contact}\|_2^2)\)，其中 \(w_{contact}\) 是 contact_cost_weight（預設值為 \(5\times10^{-7}\)），\(F_{contact}\) 是外部接觸力（請參閱觀察中的 cfrc_ext 章節）。

info 包含個別的獎勵項。

注意：Humanoid-v4 環境中存在一個錯誤，導致 contact_cost 始終為 0。

起始狀態

初始位置狀態為 \([0.0, 0.0, 1.4, 1.0, 0.0, ... 0.0] + \mathcal{U}_{[-reset\_noise\_scale \times I_{24}, reset\_noise\_scale \times I_{24}]}\)。初始速度狀態為 \(\mathcal{U}_{[-reset\_noise\_scale \times I_{23}, reset\_noise\_scale \times I_{23}]}\)。

其中 \(\mathcal{U}\) 是多元均勻連續分佈。

請注意，z 和 x 坐標不為零，以便人形機器人可以立即站立並面向前方（x 軸）。

回合結束

終止

如果 terminate_when_unhealthy 為 True (預設值)，則當人形機器人不健康時，環境會終止。如果發生以下任何一種情況，則表示人形機器人不健康

1. 軀幹的 z 坐標（高度）不在 healthy_z_range 引數給定的閉區間內（預設值為 \([1.0, 2.0]\)）。

截斷

回合的預設持續時間為 1000 個時間步。

引數

Humanoid 提供了一系列的參數來修改觀察空間、獎勵函數、初始狀態和終止條件。這些參數可以在 gymnasium.make 中以下列方式應用

import gymnasium as gym
env = gym.make('Humanoid-v5', ctrl_cost_weight=0.1, ....)

參數	類型	預設值	描述
xml_file	str	"humanoid.xml"	MuJoCo 模型的路徑
forward_reward_weight	float	1.25	前進獎勵 項的權重（請參閱 獎勵 章節）
ctrl_cost_weight	float	0.1	控制成本 項的權重（請參閱 獎勵 章節）
contact_cost_weight	float	5e-7	接觸成本 項的權重（請參閱 獎勵 章節）
contact_cost_range	float	(-np.inf, 10.0)	限制 接觸成本 項的值（請參閱 獎勵 章節）
healthy_reward	float	5.0	健康獎勵 項的權重（請參閱 獎勵 章節）
terminate_when_unhealthy	bool	True	如果為 True，則當不健康時發出 terminated 訊號（請參閱 回合結束 章節）
healthy_z_range	tuple	(1.0, 2.0)	如果軀幹的 z 坐標在此範圍內，則認為人形機器人是健康的（請參閱 回合結束 章節）
reset_noise_scale	float	1e-2	初始位置和速度的隨機擾動的縮放比例（請參閱 起始狀態 章節）
exclude_current_positions_from_observation	bool	True	是否從觀察中省略 x 和 y 坐標。排除位置可以作為一種歸納偏置，以在策略中誘導與位置無關的行為（請參閱 觀察狀態 章節）
include_cinert_in_observation	bool	True	是否在觀察中包含 cinert 元素（請參閱 觀察狀態 章節）
include_cvel_in_observation	bool	True	是否在觀察中包含 cvel 元素（請參閱 觀察狀態 章節）
include_qfrc_actuator_in_observation	bool	True	是否在觀察中包含 qfrc_actuator 元素（請參閱 觀察狀態 章節）
include_cfrc_ext_in_observation	bool	True	是否在觀察中包含 cfrc_ext 元素（請參閱 觀察狀態 章節）

版本歷史

• v5

  • 最低 mujoco 版本現在為 2.3.3。

  • 使用 xml_file 引數新增了對完全自訂/第三方 mujoco 模型的支援（以前只能對現有模型進行少量更改）。

  • 新增了 default_camera_config 引數，這是一個用於設定 mj_camera 屬性的字典，主要用於自訂環境。

  • 新增了 env.observation_structure，這是一個用於指定觀察空間組成的字典（例如 qpos、qvel），可用於為 MuJoCo 環境建構工具和包裝器。

  • 使用 reset() 回傳非空的 info，先前回傳的是空的字典，新鍵與 step() 的狀態資訊相同。

  • 新增了 frame_skip 引數，用於設定 dt（step() 的持續時間），預設值因環境而異，請查看環境文件頁面。

  • 修正錯誤：healthy_reward 在每個步驟中都會給予（即使人形機器人不健康），現在僅在人形機器人健康時才會給予。info["reward_survive"] 會隨著此變更而更新（相關的 GitHub 問題）。

  • 恢復 contact_cost 以及對應的 contact_cost_weight 和 contact_cost_range 引數，其預設值與 Humanoid-v3 中的相同（在 v4 中已移除）（相關的 GitHub 問題）。

  • 從觀察空間中排除了 worldbody 和 root/freejoint 的 cinert、cvel 和 cfrc_ext，以及 qfrc_actuator，因為它們始終為 0，因此沒有為代理提供任何有用的資訊，進而略微加快了訓練速度 (相關 GitHub issue)。

  • 恢復了 xml_file 參數 (在 v4 中已移除)。

  • 新增了 include_cinert_in_observation、include_cvel_in_observation、include_qfrc_actuator_in_observation 和 include_cfrc_ext_in_observation 參數，以允許從觀察空間中排除觀察元素。

  • 修正了 info["x_position"]、info["y_position"] 和 info["distance_from_origin"] 回傳基於 xpos 而非 qpos 的觀察值的問題 ( xpos 觀察值會比 mj_step() 慢 1 個步驟，詳見 此處 ) (相關 GitHub issue #1 和 GitHub issue #2)。

  • 新增了 info["tendon_length"] 和 info["tendon_velocity"]，其中包含觀察類人機器人連接臀部和膝蓋的 2 條肌腱的資訊。

  • 將 info["reward_alive"] 更名為 info["reward_survive"]，以便與其他環境保持一致。

  • 將 info["reward_linvel"] 更名為 info["reward_forward"]，以便與其他環境保持一致。

  • 將 info["reward_quadctrl"] 更名為 info["reward_ctrl"]，以便與其他環境保持一致。

  • 移除了 info["forward_reward"]，因為它與 info["reward_forward"] 等效。

• v4：所有 MuJoCo 環境現在都使用 mujoco >= 2.1.3 中的 MuJoCo 綁定。

• v3：支援 gymnasium.make kwargs，例如 xml_file、ctrl_cost_weight、reset_noise_scale 等。rgb 渲染來自追蹤攝影機 (因此代理不會跑出螢幕)。

  • 注意：環境機器人模型在 gym==0.21.0 時略有變更，訓練結果無法與 gym<0.21 和 gym>=0.21 進行比較 (相關 GitHub PR)。

• v2：所有連續控制環境現在都使用 mujoco-py >= 1.50。

  • 注意：環境機器人模型在 gym==0.21.0 時略有變更，訓練結果無法與 gym<0.21 和 gym>=0.21 進行比較 (相關 GitHub PR)。

• v1：機器人任務的最大時間步長提高至 1000。環境新增了 reward_threshold。

• v0：初始版本發佈。