人形立定

此環境是 Mujoco 環境的一部分，其中包含關於環境的一般資訊。

動作空間	Box(-0.4, 0.4, (17,), float32)
觀察空間	Box(-inf, inf, (348,), float64)
import	gymnasium.make("HumanoidStandup-v5")

描述

此環境基於 Tassa、Erez 和 Todorov 在 “透過線上軌跡最佳化合成和穩定複雜行為” 中介紹的環境。3D 雙足機器人旨在模擬人類。它有一個軀幹（腹部），帶有一對腿和手臂，以及一對連接臀部和膝蓋的肌腱。腿部各由三個身體部位（大腿、小腿、腳）組成，手臂由兩個身體部位（上臂、前臂）組成。環境開始時，人形機器人躺在地上，然後環境的目標是讓人形機器人站起來，然後透過對各種鉸鏈施加扭矩來保持站立。

動作空間

動作空間是一個 Box(-0.4, 0.4, (17,), float32)。一個動作代表施加在鉸鏈關節上的扭矩。

編號	動作	控制最小值	控制最大值	名稱（在相應的 XML 檔案中）	關節	類型（單位）
0	施加在腹部 y 座標鉸鏈上的扭矩	-0.4	0.4	abdomen_y	鉸鏈	扭矩 (N m)
1	施加在腹部 z 座標鉸鏈上的扭矩	-0.4	0.4	abdomen_z	鉸鏈	扭矩 (N m)
2	施加在腹部 x 座標鉸鏈上的扭矩	-0.4	0.4	abdomen_x	鉸鏈	扭矩 (N m)
3	施加在軀幹/腹部和右髖（x 座標）之間的轉子上的扭矩	-0.4	0.4	right_hip_x (right_thigh)	鉸鏈	扭矩 (N m)
4	施加在軀幹/腹部和右髖（z 座標）之間的轉子上的扭矩	-0.4	0.4	right_hip_z (right_thigh)	鉸鏈	扭矩 (N m)
5	施加在軀幹/腹部和右髖（y 座標）之間的轉子上的扭矩	-0.4	0.4	right_hip_y (right_thigh)	鉸鏈	扭矩 (N m)
6	施加在右髖/大腿和右小腿之間的轉子上的扭矩	-0.4	0.4	right_knee	鉸鏈	扭矩 (N m)
7	施加在軀幹/腹部和左髖（x 座標）之間的轉子上的扭矩	-0.4	0.4	left_hip_x (left_thigh)	鉸鏈	扭矩 (N m)
8	施加在軀幹/腹部和左髖（z 座標）之間的轉子上的扭矩	-0.4	0.4	left_hip_z (left_thigh)	鉸鏈	扭矩 (N m)
9	施加在軀幹/腹部和左髖（y 座標）之間的轉子上的扭矩	-0.4	0.4	left_hip_y (left_thigh)	鉸鏈	扭矩 (N m)
10	施加在左髖/大腿和左小腿之間的轉子上的扭矩	-0.4	0.4	left_knee	鉸鏈	扭矩 (N m)
11	施加在軀幹和右手上臂之間的轉子上的扭矩（座標 -1）	-0.4	0.4	right_shoulder1	鉸鏈	扭矩 (N m)
12	施加在軀幹和右手上臂之間的轉子上的扭矩（座標 -2）	-0.4	0.4	right_shoulder2	鉸鏈	扭矩 (N m)
13	施加在右手上臂和右手前臂之間的轉子上的扭矩	-0.4	0.4	right_elbow	鉸鏈	扭矩 (N m)
14	施加在軀幹和左手上臂之間的轉子上的扭矩（座標 -1）	-0.4	0.4	left_shoulder1	鉸鏈	扭矩 (N m)
15	施加在軀幹和左手上臂之間的轉子上的扭矩（座標 -2）	-0.4	0.4	left_shoulder2	鉸鏈	扭矩 (N m)
16	施加在左手上臂和左手前臂之間的轉子上的扭矩	-0.4	0.4	left_elbow	鉸鏈	扭矩 (N m)

觀察空間

觀察空間由以下部分組成（依序）

• qpos（預設為 22 個元素）： 機器人身體部位的位置值。

• qvel（23 個元素）： 這些個別身體部位的速度（它們的導數）。

• cinert（130 個元素）： 剛體部位相對於質心的質量和慣性（這是過渡的中間結果）。它的形狀為 13*10（nbody * 10）。（cinert - 慣性矩陣和身體質量偏移量和身體質量）

• cvel（78 個元素）： 基於質心的速度。它的形狀為 13 * 6（nbody * 6）。（com 速度 - 速度 x、y、z 和角速度 x、y、z）

• qfrc_actuator（17 個元素）： 在每個關節處作為致動器力產生的約束力。此形狀為 (17,) (nv * 1)。

• cfrc_ext（78 個元素）： 這是基於質心的身體部位上的外力。它的形狀為 13 * 6（nbody * 6），因此在觀察空間中增加了另外 78 個元素。（外力 - 力 x、y、z 和扭矩 x、y、z）

其中 nbody 是機器人中的身體數量，而 nv 是自由度數（= dim(qvel)）。

預設情況下，觀察不包括軀幹的 x 和 y 座標。這些可以透過在建構期間傳遞 exclude_current_positions_from_observation=False 來包含在內。在這種情況下，觀察空間將是一個 Box(-Inf, Inf, (350,), float64)，其中前兩個觀察是軀幹的 x 和 y 座標。無論 exclude_current_positions_from_observation 設定為 True 還是 False，x 和 y 座標都會在 info 中傳回，並帶有鍵 "x_position" 和 "y_position"。

但是，預設情況下，觀察空間是一個 Box(-Inf, Inf, (348,), float64)，其中位置和速度元素如下

編號	觀察	最小值	最大值	名稱（在相應的 XML 檔案中）	關節	類型（單位）
0	軀幹（中心）的 z 座標	-Inf	Inf	root	free	位置 (m)
1	軀幹（中心）的 w 方向	-Inf	Inf	root	free	角度 (rad)
2	軀幹（中心）的 x 方向	-Inf	Inf	root	free	角度 (rad)
3	軀幹（中心）的 y 方向	-Inf	Inf	root	free	角度 (rad)
4	軀幹（中心）的 z 方向	-Inf	Inf	root	free	角度 (rad)
5	腹部（在 lower_waist 中）的 z 角	-Inf	Inf	abdomen_z	鉸鏈	角度 (rad)
6	腹部（在 lower_waist 中）的 y 角	-Inf	Inf	abdomen_y	鉸鏈	角度 (rad)
7	腹部（在 pelvis 中）的 x 角	-Inf	Inf	abdomen_x	鉸鏈	角度 (rad)
8	骨盆和右髖之間角度的 x 座標（在 right_thigh 中）	-Inf	Inf	right_hip_x	鉸鏈	角度 (rad)
9	骨盆和右髖之間角度的 z 座標（在 right_thigh 中）	-Inf	Inf	right_hip_z	鉸鏈	角度 (rad)
10	骨盆和右髖之間角度的 y 座標（在 right_thigh 中）	-Inf	Inf	right_hip_y	鉸鏈	角度 (rad)
11	右髖和右小腿之間角度（在 right_knee 中）	-Inf	Inf	right_knee	鉸鏈	角度 (rad)
12	骨盆和左髖之間角度的 x 座標（在 left_thigh 中）	-Inf	Inf	left_hip_x	鉸鏈	角度 (rad)
13	骨盆和左髖之間角度的 z 座標（在 left_thigh 中）	-Inf	Inf	left_hip_z	鉸鏈	角度 (rad)
14	骨盆和左髖之間角度的 y 座標（在 left_thigh 中）	-Inf	Inf	left_hip_y	鉸鏈	角度 (rad)
15	左髖和左小腿之間角度（在 left_knee 中）	-Inf	Inf	left_knee	鉸鏈	角度 (rad)
16	軀幹和右臂之間（在 right_upper_arm 中）的座標 -1（多軸）角度	-Inf	Inf	right_shoulder1	鉸鏈	角度 (rad)
17	軀幹和右臂之間（在 right_upper_arm 中）的座標 -2（多軸）角度	-Inf	Inf	right_shoulder2	鉸鏈	角度 (rad)
18	右手上臂和 right_lower_arm 之間的角度	-Inf	Inf	right_elbow	鉸鏈	角度 (rad)
19	軀幹和左臂之間（在 left_upper_arm 中）的座標 -1（多軸）角度	-Inf	Inf	left_shoulder1	鉸鏈	角度 (rad)
20	軀幹和左臂之間（在 left_upper_arm 中）的座標 -2（多軸）角度	-Inf	Inf	left_shoulder2	鉸鏈	角度 (rad)
21	左手上臂和 left_lower_arm 之間的角度	-Inf	Inf	left_elbow	鉸鏈	角度 (rad)
22	軀幹（中心）的 x 座標速度	-Inf	Inf	root	free	速度 (m/s)
23	軀幹（中心）的 y 座標速度	-Inf	Inf	root	free	速度 (m/s)
24	軀幹（中心）的 z 座標速度	-Inf	Inf	root	free	速度 (m/s)
25	軀幹（中心）的 x 座標角速度	-Inf	Inf	root	free	角速度 (rad/s)
26	軀幹（中心）的 y 座標角速度	-Inf	Inf	root	free	角速度 (rad/s)
27	軀幹（中心）的 z 座標角速度	-Inf	Inf	root	free	角速度 (rad/s)
28	腹部（在 lower_waist 中）的 z 座標角速度	-Inf	Inf	abdomen_z	鉸鏈	角速度 (rad/s)
29	腹部（在 lower_waist 中）的 y 座標角速度	-Inf	Inf	abdomen_y	鉸鏈	角速度 (rad/s)
30	腹部（在 pelvis 中）的 x 座標角速度	-Inf	Inf	abdomen_x	鉸鏈	角速度 (rad/s)
31	骨盆和右髖之間角度（在 right_thigh 中）的角速度 x 座標	-Inf	Inf	right_hip_x	鉸鏈	角速度 (rad/s)
32	骨盆和右髖之間角度（在 right_thigh 中）的角速度 z 座標	-Inf	Inf	right_hip_z	鉸鏈	角速度 (rad/s)
33	骨盆和右髖之間角度（在 right_thigh 中）的角速度 y 座標	-Inf	Inf	right_hip_y	鉸鏈	角速度 (rad/s)
34	右髖和右小腿之間角度（在 right_knee 中）的角速度	-Inf	Inf	right_knee	鉸鏈	角速度 (rad/s)
35	骨盆和左髖之間角度（在 left_thigh 中）的角速度 x 座標	-Inf	Inf	left_hip_x	鉸鏈	角速度 (rad/s)
36	骨盆和左髖之間角度（在 left_thigh 中）的角速度 z 座標	-Inf	Inf	left_hip_z	鉸鏈	角速度 (rad/s)
37	骨盆和左髖之間角度（在 left_thigh 中）的角速度 y 座標	-Inf	Inf	left_hip_y	鉸鏈	角速度 (rad/s)
38	左髖和左小腿之間角度（在 left_knee 中）的角速度	-Inf	Inf	left_knee	鉸鏈	角速度 (rad/s)
39	軀幹和右臂之間角度（在 right_upper_arm 中）的座標 -1（多軸）角速度	-Inf	Inf	right_shoulder1	鉸鏈	角速度 (rad/s)
40	軀幹和右臂之間角度（在 right_upper_arm 中）的座標 -2（多軸）角速度	-Inf	Inf	right_shoulder2	鉸鏈	角速度 (rad/s)
41	右手上臂和 right_lower_arm 之間角度的角速度	-Inf	Inf	right_elbow	鉸鏈	角速度 (rad/s)
42	軀幹和左臂之間角度（在 left_upper_arm 中）的座標 -1（多軸）角速度	-Inf	Inf	left_shoulder1	鉸鏈	角速度 (rad/s)
43	軀幹和左臂之間角度（在 left_upper_arm 中）的座標 -2（多軸）角速度	-Inf	Inf	left_shoulder2	鉸鏈	角速度 (rad/s)
44	左手上臂和 left_lower_arm 之間角度的角速度	-Inf	Inf	left_elbow	鉸鏈	角速度 (rad/s)
排除	軀幹（中心）的 x 座標	-Inf	Inf	root	free	位置 (m)
排除	軀幹（中心）的 y 座標	-Inf	Inf	root	free	位置 (m)

身體部位是

身體部位	ID（適用於 v2、v3、v4)	ID（適用於 v5）
worldbody（注意：所有值都是常數 0）	0	排除
torso	1	0
lwaist	2	1
pelvis	3	2
right_thigh	4	3
right_sin	5	4
right_foot	6	5
left_thigh	7	6
left_sin	8	7
left_foot	9	8
right_upper_arm	10	9
right_lower_arm	11	10
left_upper_arm	12	11
left_lower_arm	13	12

關節是

關節	ID（適用於 v2、v3、v4)	ID（適用於 v5）
root（注意：所有值都是常數 0）	0	排除
root（注意：所有值都是常數 0）	1	排除
root（注意：所有值都是常數 0）	2	排除
root（注意：所有值都是常數 0）	3	排除
root（注意：所有值都是常數 0）	4	排除
root（注意：所有值都是常數 0）	5	排除
abdomen_z	6	0
abdomen_y	7	1
abdomen_x	8	2
right_hip_x	9	3
right_hip_z	10	4
right_hip_y	11	5
right_knee	12	6
left_hip_x	13	7
left_hiz_z	14	8
left_hip_y	15	9
left_knee	16	10
right_shoulder1	17	11
right_shoulder2	18	12
right_elbow	19	13
left_shoulder1	20	14
left_shoulder2	21	15
left_elfbow	22	16

（x,y,z）座標是平移自由度，而方向是表示為四元數的旋轉自由度。可以在 MuJoCo 文件 中閱讀更多關於自由關節的資訊。

注意： 當使用 HumanoidStandup-v3 或更早版本時，據報告，當使用 mujoco-py 版本 > 2.0 時，會出現問題，導致接觸力始終為 0。因此，建議在使用 HumanoidStandup 環境時使用 mujoco-py 版本 < 2.0，如果您想報告包含接觸力的結果（如果您的實驗中未使用接觸力，則可以使用版本 > 2.0）。

獎勵

總獎勵為：reward = uph_cost + 1 - quad_ctrl_cost - quad_impact_cost。

• uph_cost：向上移動（嘗試站立）的獎勵。這不是相對獎勵，衡量機器人自上次時間步以來向上移動了多遠，而是一個絕對獎勵，衡量人形機器人總共向上移動了多遠。它被測量為 \(w_{uph} \times \frac{z_{after\_action} - 0}{dt}\)，其中 \(z_{after\_action}\) 是採取動作後軀幹的 z 座標，而 \(dt\) 是動作之間的時間，這取決於 frame_skip 參數（預設為 \(5\)），以及 frametime，它是 \(0.01\) - 因此預設為 \(dt = 5 \times 0.01 = 0.05\)，而 \(w_{uph}\) 是 uph_cost_weight（預設為 \(1\)）。

• quad_ctrl_cost：懲罰人形機器人採取過大動作的負獎勵。\(w_{quad\_control} \times \|action\|_2^2\)，其中 \(w_{quad\_control}\) 是 ctrl_cost_weight（預設為 \(0.1\)）。

• impact_cost：如果外部接觸力過大，則懲罰人形機器人的負獎勵。\(w_{impact} \times clamp(impact\_cost\_range, \|F_{contact}\|_2^2)\)，其中 \(w_{impact}\) 是 impact_cost_weight（預設為 \(5\times10^{-7}\)），\(F_{contact}\) 是外部接觸力（請參閱觀察空間上的 cfrc_ext 部分）。

info 包含個別的獎勵項。

起始狀態

初始位置狀態為 \([0.0, 0.0, 1.4, 1.0, 0.0, ... 0.0] + \mathcal{U}_{[-reset\_noise\_scale \times I_{24}, reset\_noise\_scale \times I_{24}]}\)。初始速度狀態為 \(\mathcal{U}_{[-reset\_noise\_scale \times I_{23}, reset\_noise\_scale \times I_{23}]}\)。

其中 \(\mathcal{U}\) 是多元均勻連續分佈。

請注意，z 和 x 座標是非零的，因此人形機器人立即躺下並面向前方（x 軸）。

回合結束

終止

人形機器人永遠不會終止。

截斷

回合的預設持續時間為 1000 個時間步。

參數

HumanoidStandup 提供了各種參數來修改觀察空間、獎勵函數、初始狀態和終止條件。這些參數可以在 gymnasium.make 中以以下方式應用

import gymnasium as gym
env = gym.make('HumanoidStandup-v5', impact_cost_weight=0.5e-6, ....)

參數	類型	預設值	描述
xml_file	str	"humanoidstandup.xml"	MuJoCo 模型的路徑
uph_cost_weight	float	1	uph_cost 項的權重（請參閱 獎勵 章節）
ctrl_cost_weight	float	0.1	quad_ctrl_cost 項的權重（請參閱 獎勵 章節）
impact_cost_weight	float	0.5e-6	impact_cost 項的權重（請參閱 獎勵 章節）
impact_cost_range	float	(-np.inf, 10.0)	鉗制 impact_cost（請參閱 獎勵 章節）
reset_noise_scale	float	1e-2	初始位置和速度的隨機擾動比例（請參閱 起始狀態 章節）
exclude_current_positions_from_observation	bool	True	是否從觀察中省略 x 和 y 座標。排除位置可以作為歸納偏差，以誘導策略中與位置無關的行為（請參閱 觀察空間 章節）
include_cinert_in_observation	bool	True	是否在觀察中包含 cinert 元素（請參閱 觀察空間 章節）
include_cvel_in_observation	bool	True	是否在觀察中包含 cvel 元素（請參閱 觀察空間 章節）
include_qfrc_actuator_in_observation	bool	True	是否在觀察中包含 qfrc_actuator 元素（請參閱 觀察空間 章節）
include_cfrc_ext_in_observation	bool	True	是否在觀察中包含 cfrc_ext 元素（請參閱 觀察空間 章節）

版本歷史

• v5

  • 最低 mujoco 版本現在為 2.3.3。

  • 新增了對使用 xml_file 參數完全自訂/第三方 mujoco 模型（以前只能對現有模型進行少量更改）的支援。

  • 新增了 default_camera_config 參數，一個用於設定 mj_camera 屬性的字典，主要用於自訂環境。

  • 新增了 env.observation_structure，一個用於指定觀察空間組成的字典（例如 qpos、qvel），適用於為 MuJoCo 環境建立工具和 wrappers。

  • 傳回非空的 info 和 reset()，先前傳回的是空字典，新的鍵與 step() 的狀態資訊相同。

  • 新增了 frame_skip 參數，用於配置 dt（step() 的持續時間），預設值因環境而異，請查看環境文件頁面。

  • 從觀察空間中排除了 worldbody 和 root/freejoint qfrc_actuator 的 cinert & cvel & cfrc_ext，因為它始終為 0，因此沒有為智能體提供有用的資訊，從而略微加快了訓練速度（相關的 GitHub issue）。

  • 恢復了 xml_file 參數（在 v4 中已移除）。

  • 新增了 xml_file 參數。

  • 新增了 uph_cost_weight、ctrl_cost_weight、impact_cost_weight、impact_cost_range 參數來配置獎勵函數（預設值與 v4 中的值大致相同）。

  • 新增了 reset_noise_scale 參數來設定初始狀態的範圍。

  • 新增了 include_cinert_in_observation、include_cvel_in_observation、include_qfrc_actuator_in_observation、include_cfrc_ext_in_observation 參數，以允許從觀察空間中排除觀察元素。

  • 新增了 info["tendon_length"] 和 info["tendon_velocity"]，其中包含人形機器人連接臀部和膝蓋的 2 條肌腱的觀察結果。

  • 新增了 info["x_position"] & info["y_position"]，其中包含當 exclude_current_positions_from_observation == True 時排除的觀察結果。

  • 新增了 info["z_distance_from_origin"]，它是 “torso” 身體部位與其初始位置的垂直距離。

• v4：所有 MuJoCo 環境現在都使用 mujoco >= 2.1.3 中的 MuJoCo 綁定。

• v3：此環境沒有 v3 版本。

• v2：所有連續控制環境現在都使用 mujoco-py >= 1.50。

• v1：機器人基礎任務的最大時間步數提高到 1000。為環境新增了 reward_threshold。

• v0：初始版本發佈。