Half Cheetah

此環境是 Mujoco 環境的一部分，其中包含有關環境的一般資訊。

動作空間	Box(-1.0, 1.0, (6,), float32)
觀察空間	Box(-inf, inf, (17,), float64)
import	gymnasium.make("HalfCheetah-v5")

描述

此環境基於 P. Wawrzyński 在「A Cat-Like Robot Real-Time Learning to Run」中的工作。 HalfCheetah 是一個二維機器人，由 9 個身體部位和 8 個連接它們的關節（包括兩個爪子）組成。目標是對關節施加扭矩，使獵豹盡可能快地向前（向右）奔跑，正向獎勵基於向前移動的距離，負向獎勵基於向後移動。獵豹的軀幹和頭部是固定的，扭矩只能施加到前腿和大腿（連接到軀幹）、脛骨（連接到大腿）和腳（連接到脛骨）上的其他 6 個關節。

動作空間

動作空間是 Box(-1, 1, (6,), float32)。動作表示施加在鉸鏈關節上的扭矩。

編號	動作	控制最小值	控制最大值	名稱 (在對應的 XML 檔案中)	關節	類型 (單位)
0	施加在後大腿轉子上的扭矩	-1	1	bthigh	鉸鏈	扭矩 (N m)
1	施加在後脛骨轉子上的扭矩	-1	1	bshin	鉸鏈	扭矩 (N m)
2	施加在後腳轉子上的扭矩	-1	1	bfoot	鉸鏈	扭矩 (N m)
3	施加在前大腿轉子上的扭矩	-1	1	fthigh	鉸鏈	扭矩 (N m)
4	施加在前脛骨轉子上的扭矩	-1	1	fshin	鉸鏈	扭矩 (N m)
5	施加在前腳轉子上的扭矩	-1	1	ffoot	鉸鏈	扭矩 (N m)

觀察空間

觀察空間由以下部分組成（依序）

• qpos (預設為 8 個元素): 機器人身體部位的位置值。

• qvel (9 個元素): 這些個別身體部位的速度（它們的導數）。

預設情況下，觀察不包括機器人的 x 坐標 (rootx)。可以通過在建構期間傳遞 exclude_current_positions_from_observation=False 來包含此坐標。在這種情況下，觀察空間將是一個 Box(-Inf, Inf, (18,), float64)，其中第一個觀察元素是機器人的 x 坐標。無論 exclude_current_positions_from_observation 設定為 True 還是 False，x 和 y 坐標都會在 info 中返回，鍵分別為 "x_position" 和 "y_position"。

但是，預設情況下，觀察空間是一個 Box(-Inf, Inf, (17,), float64)，其中元素如下

編號	觀察	最小值	最大值	名稱 (在對應的 XML 檔案中)	關節	類型 (單位)
0	前端尖端的 z 坐標	-Inf	Inf	rootz	滑動	位置 (m)
1	前端尖端的角度	-Inf	Inf	rooty	鉸鏈	角度 (rad)
2	後大腿的角度	-Inf	Inf	bthigh	鉸鏈	角度 (rad)
3	後脛骨的角度	-Inf	Inf	bshin	鉸鏈	角度 (rad)
4	後腳的角度	-Inf	Inf	bfoot	鉸鏈	角度 (rad)
5	前大腿的角度	-Inf	Inf	fthigh	鉸鏈	角度 (rad)
6	前脛骨的角度	-Inf	Inf	fshin	鉸鏈	角度 (rad)
7	前腳的角度	-Inf	Inf	ffoot	鉸鏈	角度 (rad)
8	前端尖端 x 坐標的速度	-Inf	Inf	rootx	滑動	速度 (m/s)
9	前端尖端 z 坐標的速度	-Inf	Inf	rootz	滑動	速度 (m/s)
10	前端尖端的角速度	-Inf	Inf	rooty	鉸鏈	角速度 (rad/s)
11	後大腿的角速度	-Inf	Inf	bthigh	鉸鏈	角速度 (rad/s)
12	後脛骨的角速度	-Inf	Inf	bshin	鉸鏈	角速度 (rad/s)
13	後腳的角速度	-Inf	Inf	bfoot	鉸鏈	角速度 (rad/s)
14	前大腿的角速度	-Inf	Inf	fthigh	鉸鏈	角速度 (rad/s)
15	前脛骨的角速度	-Inf	Inf	fshin	鉸鏈	角速度 (rad/s)
16	前腳的角速度	-Inf	Inf	ffoot	鉸鏈	角速度 (rad/s)
已排除	前端尖端的 x 坐標	-Inf	Inf	rootx	滑動	位置 (m)

獎勵

總獎勵為：reward = forward_reward - ctrl_cost。

• forward_reward：向前移動的獎勵，如果 Half Cheetah 向前移動（在正 \(x\) 方向 / 向右方向），則此獎勵為正值。\(w_{forward} \times \frac{dx}{dt}\)，其中 \(dx\) 是「尖端」的位移 (\(x_{after-action} - x_{before-action}\))，\(dt\) 是動作之間的時間，這取決於 frame_skip 參數（預設為 \(5\)），而 frametime 為 \(0.01\) - 因此預設值為 \(dt = 5 \times 0.01 = 0.05\)，\(w_{forward}\) 是 forward_reward_weight（預設為 \(1\)）。

• ctrl_cost：懲罰 Half Cheetah 採取過大動作的負面獎勵。\(w_{control} \times \|action\|_2^2\)，其中 \(w_{control}\) 是 ctrl_cost_weight（預設為 \(0.1\)）。

info 包含個別的獎勵項。

起始狀態

初始位置狀態為 \(\mathcal{U}_{[-reset\_noise\_scale \times I_{9}, reset\_noise\_scale \times I_{9}]}\)。初始速度狀態為 \(\mathcal{N}(0_{9}, reset\_noise\_scale^2 \times I_{9})\)。

其中 \(\mathcal{N}\) 是多元常態分佈，而 \(\mathcal{U}\) 是多元均勻連續分佈。

回合結束

終止

Half Cheetah 永遠不會終止。

截斷

回合的預設持續時間為 1000 個時間步長。

參數

HalfCheetah 提供了許多參數來修改觀察空間、獎勵函數、初始狀態和終止條件。這些參數可以在 gymnasium.make 中以以下方式應用

import gymnasium as gym
env = gym.make('HalfCheetah-v5', ctrl_cost_weight=0.1, ....)

參數	類型	預設值	描述
xml_file	str	"half_cheetah.xml"	MuJoCo 模型的路徑
forward_reward_weight	float	1	forward_reward 項的權重（請參閱 獎勵 章節）
ctrl_cost_weight	float	0.1	ctrl_cost 權重的權重（請參閱 獎勵 章節）
reset_noise_scale	float	0.1	初始位置和速度的隨機擾動比例（請參閱 起始狀態 章節）
exclude_current_positions_from_observation	bool	True	是否從觀察中省略 x 坐標。排除位置可以作為歸納偏差，以誘導策略中與位置無關的行為（請參閱 觀察狀態 章節）

版本歷史

• v5

  • 最低 mujoco 版本現在為 2.3.3。

  • 新增了對完全自訂/第三方 mujoco 模型的支援，使用 xml_file 參數（先前只能對現有模型進行少量更改）。

  • 新增了 default_camera_config 參數，這是一個用於設定 mj_camera 屬性的字典，主要用於自訂環境。

  • 新增了 env.observation_structure，這是一個用於指定觀察空間組成的字典（例如 qpos、qvel），對於為 MuJoCo 環境建構工具和 Wrappers 非常有用。

  • 使用 reset() 返回非空的 info，先前返回的是空字典，新的鍵與 step() 的狀態資訊相同。

  • 新增了 frame_skip 參數，用於配置 dt（step() 的持續時間），預設值因環境而異，請查看環境文件頁面。

  • 恢復了 xml_file 參數（在 v4 中已移除）。

  • 將 info["reward_run"] 重新命名為 info["reward_forward"]，以便與其他環境保持一致。

• v4：所有 MuJoCo 環境現在都使用 mujoco >= 2.1.3 中的 MuJoCo 綁定。

• v3：支援 gymnasium.make kwargs，例如 xml_file、ctrl_cost_weight、reset_noise_scale 等。rgb 渲染來自追蹤相機（因此智能體不會從螢幕上跑掉）。

• v2：所有連續控制環境現在都使用 mujoco-py >= 1.50。

• v1：基於機器人的任務的最大時間步數增加到 1000。為環境新增了 reward_threshold。

• v0：初始版本發佈。