人形站立

此環境是 Mujoco 環境的一部分，其中包含有關環境的一般資訊。

動作空間	Box(-0.4, 0.4, (17,), float32)
觀察空間	Box(-inf, inf, (348,), float64)
import	gymnasium.make("HumanoidStandup-v5")

描述

此環境基於 Tassa、Erez 和 Todorov 在 「透過線上軌跡最佳化合成和穩定複雜行為」 中介紹的環境。3D 雙足機器人旨在模擬人類。它有一個軀幹（腹部），帶有一對腿和手臂，以及一對將臀部連接到膝蓋的肌腱。腿各由三個身體部分（大腿、小腿、腳）組成，手臂由兩個身體部分（上臂、前臂）組成。環境從人形躺在地面開始，然後環境的目標是讓人形站起來，然後透過對各種鉸鏈施加扭矩來保持站立。

動作空間

動作空間是一個 Box(-0.4, 0.4, (17,), float32)。動作表示施加在鉸鏈關節上的扭矩。

編號	動作	控制最小值	控制最大值	名稱（在相應的 XML 檔案中）	關節	類型（單位）
0	施加在腹部 y 坐標鉸鏈上的扭矩	-0.4	0.4	abdomen_y	鉸鏈	扭矩 (N m)
1	施加在腹部 z 坐標鉸鏈上的扭矩	-0.4	0.4	abdomen_z	鉸鏈	扭矩 (N m)
2	施加在腹部 x 坐標鉸鏈上的扭矩	-0.4	0.4	abdomen_x	鉸鏈	扭矩 (N m)
3	施加在軀幹/腹部和右臀部之間（x 坐標）的轉子上扭矩	-0.4	0.4	right_hip_x (right_thigh)	鉸鏈	扭矩 (N m)
4	施加在軀幹/腹部和右臀部之間（z 坐標）的轉子上扭矩	-0.4	0.4	right_hip_z (right_thigh)	鉸鏈	扭矩 (N m)
5	施加在軀幹/腹部和右臀部之間（y 坐標）的轉子上扭矩	-0.4	0.4	right_hip_y (right_thigh)	鉸鏈	扭矩 (N m)
6	施加在右臀部/大腿和右小腿之間轉子上的扭矩	-0.4	0.4	right_knee	鉸鏈	扭矩 (N m)
7	施加在軀幹/腹部和左臀部之間（x 坐標）的轉子上扭矩	-0.4	0.4	left_hip_x (left_thigh)	鉸鏈	扭矩 (N m)
8	施加在軀幹/腹部和左臀部之間（z 坐標）的轉子上扭矩	-0.4	0.4	left_hip_z (left_thigh)	鉸鏈	扭矩 (N m)
9	施加在軀幹/腹部和左臀部之間（y 坐標）的轉子上扭矩	-0.4	0.4	left_hip_y (left_thigh)	鉸鏈	扭矩 (N m)
10	施加在左臀部/大腿和左小腿之間轉子上的扭矩	-0.4	0.4	left_knee	鉸鏈	扭矩 (N m)
11	施加在軀幹和右上臂之間（坐標 -1）的轉子上扭矩	-0.4	0.4	right_shoulder1	鉸鏈	扭矩 (N m)
12	施加在軀幹和右上臂之間（坐標 -2）的轉子上扭矩	-0.4	0.4	right_shoulder2	鉸鏈	扭矩 (N m)
13	施加在右上臂和右前臂之間轉子上的扭矩	-0.4	0.4	right_elbow	鉸鏈	扭矩 (N m)
14	施加在軀幹和左上臂之間（坐標 -1）的轉子上扭矩	-0.4	0.4	left_shoulder1	鉸鏈	扭矩 (N m)
15	施加在軀幹和左上臂之間（坐標 -2）的轉子上扭矩	-0.4	0.4	left_shoulder2	鉸鏈	扭矩 (N m)
16	施加在左上臂和左前臂之間轉子上的扭矩	-0.4	0.4	left_elbow	鉸鏈	扭矩 (N m)

觀察空間

觀察空間由以下部分（依序）組成

• qpos (預設 22 個元素)： 機器人身體部位的位置值。

• qvel (23 個元素)： 這些個別身體部位的速度（其導數）。

• cinert (130 個元素)： 相對於質心的剛體部分的質量和慣性（這是轉換的中間結果）。它的形狀為 13*10 (nbody * 10)。 (cinert - 慣性矩陣和身體質量偏移和身體質量)

• cvel (78 個元素)： 基於質心的速度。它的形狀為 13 * 6 (nbody * 6)。 (com 速度 - 速度 x、y、z 和角速度 x、y、z)

• qfrc_actuator (17 個元素)： 在每個關節處作為致動器力產生的約束力。它的形狀為 (17,) (nv * 1)。

• cfrc_ext (78 個元素)： 這是基於質心的身體部分外部力。它的形狀為 13 * 6 (nbody * 6)，因此為觀察空間增加了 78 個元素。 (外力 - 力 x、y、z 和扭矩 x、y、z)

其中 nbody 是機器人中身體的數量，而 nv 是自由度的數量 (= dim(qvel))。

預設情況下，觀察不包括軀幹的 x 和 y 坐標。可以透過在建構期間傳遞 exclude_current_positions_from_observation=False 來包含這些坐標。在這種情況下，觀察空間將是 Box(-Inf, Inf, (350,), float64)，其中前兩個觀察是軀幹的 x 和 y 坐標。無論 exclude_current_positions_from_observation 設定為 True 還是 False，x 和 y 坐標都會以金鑰 "x_position" 和 "y_position" 分別在 info 中傳回。

然而，預設情況下，觀察空間是 Box(-Inf, Inf, (348,), float64)，其中位置和速度元素如下所示

編號	觀察	最小值	最大值	名稱（在相應的 XML 檔案中）	關節	類型（單位）
0	軀幹（中心）的 z 坐標	-Inf	Inf	根	自由	位置 (m)
1	軀幹（中心）的 w 方向	-Inf	Inf	根	自由	角度（弧度）
2	軀幹（中心）的 x 方向	-Inf	Inf	根	自由	角度（弧度）
3	軀幹（中心）的 y 方向	-Inf	Inf	根	自由	角度（弧度）
4	軀幹（中心）的 z 方向	-Inf	Inf	根	自由	角度（弧度）
5	腹部（在 lower_waist 中）的 z 角	-Inf	Inf	abdomen_z	鉸鏈	角度（弧度）
6	腹部（在 lower_waist 中）的 y 角	-Inf	Inf	abdomen_y	鉸鏈	角度（弧度）
7	腹部（在骨盆中）的 x 角	-Inf	Inf	abdomen_x	鉸鏈	角度（弧度）
8	骨盆和右臀部之間（在 right_thigh 中）的角度的 x 坐標	-Inf	Inf	right_hip_x	鉸鏈	角度（弧度）
9	骨盆和右臀部之間（在 right_thigh 中）的角度的 z 坐標	-Inf	Inf	right_hip_z	鉸鏈	角度（弧度）
10	骨盆和右臀部之間（在 right_thigh 中）的角度的 y 坐標	-Inf	Inf	right_hip_y	鉸鏈	角度（弧度）
11	右臀部和右小腿之間（在 right_knee 中）的角度	-Inf	Inf	right_knee	鉸鏈	角度（弧度）
12	骨盆和左臀部之間（在 left_thigh 中）的角度的 x 坐標	-Inf	Inf	left_hip_x	鉸鏈	角度（弧度）
13	骨盆和左臀部之間（在 left_thigh 中）的角度的 z 坐標	-Inf	Inf	left_hip_z	鉸鏈	角度（弧度）
14	骨盆和左臀部之間（在 left_thigh 中）的角度的 y 坐標	-Inf	Inf	left_hip_y	鉸鏈	角度（弧度）
15	左臀部和左小腿之間（在 left_knee 中）的角度	-Inf	Inf	left_knee	鉸鏈	角度（弧度）
16	軀幹和右臂之間（在 right_upper_arm 中）的坐標 -1（多軸）角度	-Inf	Inf	right_shoulder1	鉸鏈	角度（弧度）
17	軀幹和右臂之間（在 right_upper_arm 中）的坐標 -2（多軸）角度	-Inf	Inf	right_shoulder2	鉸鏈	角度（弧度）
18	右上臂和右下臂之間的角度	-Inf	Inf	right_elbow	鉸鏈	角度（弧度）
19	軀幹和左臂之間（在 left_upper_arm 中）的坐標 -1（多軸）角度	-Inf	Inf	left_shoulder1	鉸鏈	角度（弧度）
20	軀幹和左臂之間（在 left_upper_arm 中）的坐標 -2（多軸）角度	-Inf	Inf	left_shoulder2	鉸鏈	角度（弧度）
21	左上臂和左下臂之間的角度	-Inf	Inf	left_elbow	鉸鏈	角度（弧度）
22	軀幹（中心）的 x 坐標速度	-Inf	Inf	根	自由	速度 (m/s)
23	軀幹（中心）的 y 坐標速度	-Inf	Inf	根	自由	速度 (m/s)
24	軀幹（中心）的 z 坐標速度	-Inf	Inf	根	自由	速度 (m/s)
25	軀幹（中心）的 x 軸角速度	-Inf	Inf	根	自由	角速度 (rad/s)
26	軀幹（中心）的 y 軸角速度	-Inf	Inf	根	自由	角速度 (rad/s)
27	軀幹（中心）的 z 軸角速度	-Inf	Inf	根	自由	角速度 (rad/s)
28	腹部（在 lower_waist 中）的 z 軸角速度	-Inf	Inf	abdomen_z	鉸鏈	角速度 (rad/s)
29	腹部（在 lower_waist 中）的 y 軸角速度	-Inf	Inf	abdomen_y	鉸鏈	角速度 (rad/s)
30	腹部（在骨盆中）的 x 軸角速度	-Inf	Inf	abdomen_x	鉸鏈	角速度 (rad/s)
31	骨盆和右髖之間角度（在 right_thigh 中）的 x 軸角速度	-Inf	Inf	right_hip_x	鉸鏈	角速度 (rad/s)
32	骨盆和右髖之間角度（在 right_thigh 中）的 z 軸角速度	-Inf	Inf	right_hip_z	鉸鏈	角速度 (rad/s)
33	骨盆和右髖之間角度（在 right_thigh 中）的 y 軸角速度	-Inf	Inf	right_hip_y	鉸鏈	角速度 (rad/s)
34	右髖和右脛之間角度（在 right_knee 中）的角速度	-Inf	Inf	right_knee	鉸鏈	角速度 (rad/s)
35	骨盆和左髖之間角度（在 left_thigh 中）的 x 軸角速度	-Inf	Inf	left_hip_x	鉸鏈	角速度 (rad/s)
36	骨盆和左髖之間角度（在 left_thigh 中）的 z 軸角速度	-Inf	Inf	left_hip_z	鉸鏈	角速度 (rad/s)
37	骨盆和左髖之間角度（在 left_thigh 中）的 y 軸角速度	-Inf	Inf	left_hip_y	鉸鏈	角速度 (rad/s)
38	左髖和左脛之間角度（在 left_knee 中）的角速度	-Inf	Inf	left_knee	鉸鏈	角速度 (rad/s)
39	軀幹和右臂之間角度（在 right_upper_arm 中）的角速度的座標 1（多軸）	-Inf	Inf	right_shoulder1	鉸鏈	角速度 (rad/s)
40	軀幹和右臂之間角度（在 right_upper_arm 中）的角速度的座標 2（多軸）	-Inf	Inf	right_shoulder2	鉸鏈	角速度 (rad/s)
41	右上臂和右前臂之間角度的角速度	-Inf	Inf	right_elbow	鉸鏈	角速度 (rad/s)
42	軀幹和左臂之間角度（在 left_upper_arm 中）的角速度的座標 1（多軸）	-Inf	Inf	left_shoulder1	鉸鏈	角速度 (rad/s)
43	軀幹和左臂之間角度（在 left_upper_arm 中）的角速度的座標 2（多軸）	-Inf	Inf	left_shoulder2	鉸鏈	角速度 (rad/s)
44	左上臂和左前臂之間角度的角速度	-Inf	Inf	left_elbow	鉸鏈	角速度 (rad/s)
已排除	軀幹（中心）的 x 軸座標	-Inf	Inf	根	自由	位置 (m)
已排除	軀幹（中心）的 y 軸座標	-Inf	Inf	根	自由	位置 (m)

身體部位為

身體部位	id（用於 v2、v3、v4）	id（用於 v5）
worldbody（注意：所有值均為常數 0）	0	已排除
軀幹	1	0
腰部	2	1
骨盆	3	2
右大腿	4	3
右小腿	5	4
右腳	6	5
左大腿	7	6
左小腿	8	7
左腳	9	8
右上臂	10	9
右前臂	11	10
左上臂	12	11
左前臂	13	12

關節為

關節	id（用於 v2、v3、v4）	id（用於 v5）
根部（注意：所有值均為常數 0）	0	已排除
根部（注意：所有值均為常數 0）	1	已排除
根部（注意：所有值均為常數 0）	2	已排除
根部（注意：所有值均為常數 0）	3	已排除
根部（注意：所有值均為常數 0）	4	已排除
根部（注意：所有值均為常數 0）	5	已排除
abdomen_z	6	0
abdomen_y	7	1
abdomen_x	8	2
right_hip_x	9	3
right_hip_z	10	4
right_hip_y	11	5
right_knee	12	6
left_hip_x	13	7
左髖關節_z	14	8
left_hip_y	15	9
left_knee	16	10
right_shoulder1	17	11
right_shoulder2	18	12
right_elbow	19	13
left_shoulder1	20	14
left_shoulder2	21	15
左手肘	22	16

(x,y,z) 坐標為平移自由度，而方向是旋轉自由度，表示為四元數。有關自由關節的更多資訊，請閱讀 MuJoCo 文件。

注意： 使用 HumanoidStandup-v3 或更早版本時，有報告指出使用 mujoco-py 版本 > 2.0 會導致接觸力始終為 0。因此，如果想報告接觸力的結果，建議在使用 HumanoidStandup 環境時使用 mujoco-py 版本 < 2.0（如果在您的實驗中沒有使用接觸力，則可以使用版本 > 2.0）。

獎勵

總獎勵為：reward = uph_cost + 1 - quad_ctrl_cost - quad_impact_cost。

• uph_cost：向上移動（嘗試站立）的獎勵。這不是相對獎勵，它不是測量機器人自上一個時間步以來向上移動了多少，而是測量人形機器人總共向上移動了多少的絕對獎勵。其計算方式為 \(w{uph} \times (z_{after action} - 0)/dt\)，其中 \(z_{after action}\) 是執行動作後軀幹的 z 軸坐標，而 \(dt\) 是動作之間的時間，這取決於 frame_skip 參數（預設為 \(5\)），和 frametime，其為 \(0.01\) - 因此預設值為 \(dt = 5 \times 0.01 = 0.05\)，而 \(w_{uph}\) 為 uph_cost_weight。

• quad_ctrl_cost：一個負獎勵，用於懲罰人形機器人採取過大的動作。\(w_{quad\_control} \times \|action\|_2^2\)，其中 \(w_{quad\_control}\) 為 ctrl_cost_weight (預設為 \(0.1\))。

• impact_cost：一個負獎勵，如果外部接觸力過大則懲罰人形機器人。\(w_{impact} \times clamp(impact\_cost\_range, \|F_{contact}\|_2^2)\)，其中 \(w_{impact}\) 為 impact_cost_weight (預設為 \(5\times10^{-7}\))，\(F_{contact}\) 為外部接觸力（請參閱觀察空間中的 cfrc_ext 部分）。

info 包含個別的獎勵項。

起始狀態

初始位置狀態為 \([0.0, 0.0, 1.4, 1.0, 0.0, ... 0.0] + \mathcal{U}_{[-reset\_noise\_scale \times I_{24}, reset\_noise\_scale \times I_{24}]}\)。初始速度狀態為 \(\mathcal{U}_{[-reset\_noise\_scale \times I_{23}, reset\_noise\_scale \times I_{23}]}\)。

其中 \(\mathcal{U}\) 是多元均勻連續分佈。

請注意，z 軸和 x 軸坐標是非零的，因此人形機器人會立即躺下並面向前方（x 軸）。

回合結束

終止

人形機器人永遠不會終止。

截斷

回合的預設持續時間為 1000 個時間步。

參數

HumanoidStandup 提供一系列參數來修改觀察空間、獎勵函數、初始狀態和終止條件。這些參數可以在 gymnasium.make 期間以以下方式套用

import gymnasium as gym
env = gym.make('HumanoidStandup-v5', impact_cost_weight=0.5e-6, ....)

參數	類型	預設值	說明
xml_file	字串	"humanoidstandup.xml"	MuJoCo 模型的路徑
uph_cost_weight	浮點數	1	uph_cost 項的權重（請參閱 獎勵 部分）
ctrl_cost_weight	浮點數	0.1	quad_ctrl_cost 項的權重（請參閱 獎勵 部分）
impact_cost_weight	浮點數	0.5e-6	impact_cost 項的權重（請參閱 獎勵 部分）
impact_cost_range	浮點數	(-np.inf, 10.0)	夾緊 impact_cost（請參閱 獎勵 部分）
reset_noise_scale	浮點數	1e-2	初始位置和速度的隨機擾動的比例（請參閱 起始 狀態 部分）
exclude_current_positions_from_observation	布林值	True	是否從觀察中省略 x 軸和 y 軸坐標。排除位置可以作為一個歸納偏見，以在策略中引導位置不可知行為（請參閱 觀察 空間 部分）
include_cinert_in_observation	布林值	True	是否在觀察中包含 cinert 元素（請參閱 觀察 空間 部分）
include_cvel_in_observation	布林值	True	是否在觀察中包含 cvel 元素（請參閱 觀察 空間 部分）
include_qfrc_actuator_in_observation	布林值	True	是否在觀察中包含 qfrc_actuator 元素（請參閱 觀察 空間 部分）
include_cfrc_ext_in_observation	布林值	True	是否在觀察中包含 cfrc_ext 元素（請參閱 觀察 空間 部分）

版本歷史

• v5

  • 現在最低 mujoco 版本為 2.3.3。

  • 增加了使用 xml_file 參數完全自訂/第三方 mujoco 模型支援（以前只能對現有模型進行一些變更）。

  • 新增 default_camera_config 參數，這是一個用於設定 mj_camera 屬性的字典，主要適用於自訂環境。

  • 新增 env.observation_structure，這是一個用於指定觀察空間組成（例如 qpos、qvel）的字典，可用於為 MuJoCo 環境建立工具和封裝器。

  • 返回一個非空的 info 並包含 reset()，之前返回的是一個空字典，新的鍵與 step() 的狀態資訊相同。

  • 新增 frame_skip 參數，用於配置 dt（step() 的持續時間），預設值因環境而異，請查看環境文件頁面。

  • 從觀察空間中排除 worldbody 和 root/freejoint qfrc_actuator 的 cinert & cvel & cfrc_ext，因為它們始終為 0，因此沒有為代理提供有用的資訊，從而加快了訓練速度（相關 GitHub 問題）。

  • 恢復 xml_file 參數（已在 v4 中刪除）。

  • 新增 xml_file 參數。

  • 新增 uph_cost_weight、ctrl_cost_weight、impact_cost_weight、impact_cost_range 參數來配置獎勵函數（預設值與 v4 中的預設值基本相同）。

  • 新增 reset_noise_scale 參數，用於設定初始狀態的範圍。

  • 新增 include_cinert_in_observation、include_cvel_in_observation、include_qfrc_actuator_in_observation、include_cfrc_ext_in_observation 參數，允許從觀察空間中排除觀察元素。

  • 新增 info["tendon_length"] 和 info["tendon_velocity"]，包含類人機器人連接臀部到膝蓋的 2 條肌腱的觀測值。

  • 新增 info["x_position"] 和 info["y_position"]，其中包含當 exclude_current_positions_from_observation == True 時被排除的觀測值。

  • 新增 info["z_distance_from_origin"]，它是「軀幹」身體與其初始位置的垂直距離。

• v4：所有 MuJoCo 環境現在都使用 mujoco >= 2.1.3 中的 MuJoCo 綁定。

• v3：此環境沒有 v3 版本。

• v2：所有連續控制環境現在都使用 mujoco-py >= 1.50。

• v1：機器人任務的最大時間步長提高到 1000。為環境添加了 reward_threshold。

• v0：初始版本發布。