半人馬

此環境是 MuJoCo 環境的一部分，其中包含有關環境的一般資訊。

動作空間	Box(-1.0, 1.0, (6,), float32)
觀察空間	Box(-inf, inf, (17,), float64)
導入	gymnasium.make("HalfCheetah-v5")

描述

此環境基於 P. Wawrzyński 在 “A Cat-Like Robot Real-Time Learning to Run” 中的研究。半人馬是一個二維機器人，由 9 個身體部位和連接它們的 8 個關節（包括兩個爪子）組成。目標是對關節施加扭矩，使獵豹盡可能快地向前（向右）跑，並根據向前移動的距離獲得正獎勵，以及向後移動的負獎勵。獵豹的軀幹和頭部是固定的，扭矩只能施加到前大腿和後大腿（連接到軀幹）、小腿（連接到大腿）和腳（連接到小腿）上的其他 6 個關節上。

動作空間

動作空間為 Box(-1, 1, (6,), float32)。一個動作表示在鉸鏈關節上施加的扭矩。

編號	動作	控制最小值	控制最大值	名稱（在對應的 XML 檔案中）	關節	類型（單位）
0	施加在後大腿轉子上的扭矩	-1	1	bthigh	鉸鏈	扭矩 (N m)
1	施加在後小腿轉子上的扭矩	-1	1	bshin	鉸鏈	扭矩 (N m)
2	施加在後腳轉子上的扭矩	-1	1	bfoot	鉸鏈	扭矩 (N m)
3	施加在前大腿轉子上的扭矩	-1	1	fthigh	鉸鏈	扭矩 (N m)
4	施加在前小腿轉子上的扭矩	-1	1	fshin	鉸鏈	扭矩 (N m)
5	施加在前腳轉子上的扭矩	-1	1	ffoot	鉸鏈	扭矩 (N m)

觀察空間

觀察空間由以下部分組成（依序）

• qpos（預設為 8 個元素）： 機器人身體部位的位置值。

• qvel（9 個元素）： 這些個別身體部位的速度（它們的導數）。

預設情況下，觀察值不包含機器人的 x 座標 (rootx)。這可以透過在建構期間傳遞 exclude_current_positions_from_observation=False 來包含。在這種情況下，觀察空間將為 Box(-Inf, Inf, (18,), float64)，其中第一個觀察元素是機器人的 x 座標。無論 exclude_current_positions_from_observation 是否設定為 True 或 False，x 和 y 座標都會分別在 info 中以鍵 "x_position" 和 "y_position" 傳回。

但是，預設情況下，觀察空間為 Box(-Inf, Inf, (17,), float64)，其中元素如下

編號	觀察	最小值	最大值	名稱（在對應的 XML 檔案中）	關節	類型（單位）
0	前尖端的 z 座標	-Inf	Inf	rootz	滑動	位置 (m)
1	前尖端的角度	-Inf	Inf	rooty	鉸鏈	角度 (rad)
2	後大腿的角度	-Inf	Inf	bthigh	鉸鏈	角度 (rad)
3	後小腿的角度	-Inf	Inf	bshin	鉸鏈	角度 (rad)
4	後腳的角度	-Inf	Inf	bfoot	鉸鏈	角度 (rad)
5	前大腿的角度	-Inf	Inf	fthigh	鉸鏈	角度 (rad)
6	前小腿的角度	-Inf	Inf	fshin	鉸鏈	角度 (rad)
7	前腳的角度	-Inf	Inf	ffoot	鉸鏈	角度 (rad)
8	前尖端 x 座標的速度	-Inf	Inf	rootx	滑動	速度 (m/s)
9	前尖端 z 座標的速度	-Inf	Inf	rootz	滑動	速度 (m/s)
10	前尖端的角速度	-Inf	Inf	rooty	鉸鏈	角速度 (rad/s)
11	後大腿的角速度	-Inf	Inf	bthigh	鉸鏈	角速度 (rad/s)
12	後小腿的角速度	-Inf	Inf	bshin	鉸鏈	角速度 (rad/s)
13	後腳的角速度	-Inf	Inf	bfoot	鉸鏈	角速度 (rad/s)
14	前大腿的角速度	-Inf	Inf	fthigh	鉸鏈	角速度 (rad/s)
15	前小腿的角速度	-Inf	Inf	fshin	鉸鏈	角速度 (rad/s)
16	前腳的角速度	-Inf	Inf	ffoot	鉸鏈	角速度 (rad/s)
排除	前尖端的 x 座標	-Inf	Inf	rootx	滑動	位置 (m)

獎勵

總獎勵為：reward = forward_reward - ctrl_cost。

• forward_reward：向前移動的獎勵，如果半人馬向前移動（在正 \(x\) 方向 / 向右方向），則此獎勵為正。 \(w_{forward} \times \frac{dx}{dt}\)，其中 \(dx\) 是「尖端」的位移 (\(x_{after-action} - x_{before-action}\))，\(dt\) 是動作之間的時間，這取決於 frame_skip 參數（預設為 \(5\)），以及 frametime，即 \(0.01\) - 因此預設值為 \(dt = 5 \times 0.01 = 0.05\)，\(w_{forward}\) 是 forward_reward_weight （預設為 \(1\)）。

• ctrl_cost：對半人馬採取過大動作的負獎勵。 \(w_{control} \times \|action\|_2^2\)，其中 \(w_{control}\) 是 ctrl_cost_weight （預設為 \(0.1\)）。

info 包含個別獎勵條款。

起始狀態

初始位置狀態為 \(\mathcal{U}_{[-reset\_noise\_scale \times I_{9}, reset\_noise\_scale \times I_{9}]}\)。初始速度狀態為 \(\mathcal{N}(0_{9}, reset\_noise\_scale^2 \times I_{9})\)。

其中 \(\mathcal{N}\) 是多元常態分佈，而 \(\mathcal{U}\) 是多元均勻連續分佈。

回合結束

終止

半人馬永遠不會終止。

截斷

一個回合的預設持續時間為 1000 個時間步。

引數

HalfCheetah 提供了各種參數來修改觀察空間、獎勵函數、初始狀態和終止條件。這些參數可以在 gymnasium.make 期間以以下方式應用

import gymnasium as gym
env = gym.make('HalfCheetah-v5', ctrl_cost_weight=0.1, ....)

參數	類型	預設值	描述
xml_file	str	"half_cheetah.xml"	MuJoCo 模型的路徑
forward_reward_weight	float	1	forward_reward 條款的權重（請參閱 獎勵 區段）
ctrl_cost_weight	float	0.1	ctrl_cost 權重的權重（請參閱 獎勵 區段）
reset_noise_scale	float	0.1	初始位置和速度的隨機擾動規模（請參閱 起始 狀態 區段）
exclude_current_positions_from_observation	bool	True	是否從觀察值中省略 x 座標。排除位置可以作為一種歸納偏差，以在策略中誘導與位置無關的行為（請參閱 觀察 狀態 區段）

版本歷史

• v5

  • 現在的最低 mujoco 版本為 2.3.3。

  • 使用 xml_file 引數新增對完全自訂/第三方 mujoco 模型 (先前只能對現有模型進行一些變更) 的支援。

  • 新增 default_camera_config 引數，這是一個用於設定 mj_camera 屬性的字典，主要用於自訂環境。

  • 新增 env.observation_structure，這是一個用於指定觀察空間組成的字典（例如 qpos、qvel），有助於為 MuJoCo 環境建構工具和包裝器。

  • 回傳一個非空的 info，其中包含 reset() 的資訊。先前是回傳一個空的字典，現在新的鍵值與 step() 的狀態資訊相同。

  • 新增了 frame_skip 參數，用於設定 dt (即 step() 的持續時間)，預設值會因環境而異，請參考環境文件頁面。

  • 恢復了 xml_file 參數 (在 v4 版本中被移除)。

  • 將 info["reward_run"] 重新命名為 info["reward_forward"]，以與其他環境保持一致。

• v4: 所有 MuJoCo 環境現在皆使用 mujoco >= 2.1.3 中的 MuJoCo 綁定。

• v3: 支援 gymnasium.make 的 kwargs，例如 xml_file、 ctrl_cost_weight、 reset_noise_scale 等。rgb 渲染來自追蹤鏡頭 (因此智能體不會跑出螢幕外)。

• v2: 所有連續控制環境現在皆使用 mujoco-py >= 1.50。

• v1: 基於機器人的任務的 max_time_steps 提升至 1000。為環境新增了 reward_threshold。

• v0: 初始版本發布。