游泳者¶

此環境是 Mujoco 環境的一部分，其中包含有關環境的一般資訊。


動作空間	`Box(-1.0, 1.0, (2,), float32)`
觀測空間	`Box(-inf, inf, (8,), float64)`
匯入	`gymnasium.make("Swimmer-v5")`

描述¶

此環境對應於 Rémi Coulom 的博士論文 “使用神經網路的強化學習，應用於運動控制” 中描述的游泳者環境。此環境旨在增加與經典控制環境相比的獨立狀態和控制變數的數量。游泳者由三個或更多段（「連結」）和一個較少的關節（「轉子」）組成 - 一個轉子關節恰好連接兩個連結以形成線性鏈。游泳者懸浮在二維池中，並且總是從相同的位置開始（受到從均勻分佈中抽出的一些偏差），並且目標是通過對轉子施加扭矩並利用流體摩擦來盡可能快地向右移動。

注意事項¶

問題參數為：問題參數

n：身體部位的數量
m_i：部位 i 的質量（i ∈ {1…n}）
l_i：部位 i 的長度（i ∈ {1…n}）
k：黏性摩擦係數

雖然預設環境的 n = 3、l_i = 0.1 且 k = 0.1。可以在建構期間傳遞自訂的 MuJoCo XML 檔案，以增加連結數量或調整任何參數。

動作空間¶

動作空間為 Box(-1, 1, (2,), float32)。動作表示在連結之間施加的扭矩

編號	動作	控制最小值	控制最大值	名稱（在對應的 XML 檔案中）	關節	類型（單位）
0	施加在第一個轉子上的扭矩	-1	1	motor1_rot	hinge (鉸鏈)	扭矩 (N m)
1	施加在第二個轉子上的扭矩	-1	1	motor2_rot	hinge (鉸鏈)	扭矩 (N m)

觀測空間¶

觀測空間由以下部分組成（按順序）

qpos (預設為 3 個元素)：機器人身體部位的位置值。
qvel (5 個元素)：這些單獨身體部位的速度（它們的導數）。

預設情況下，觀測不包括前尖端的 x 和 y 座標。可以通過在建構期間傳遞 exclude_current_positions_from_observation=False 來包含它們。在這種情況下，觀測空間將為 Box(-Inf, Inf, (10,), float64)，其中前兩個觀測值是前尖端的 x 和 y 座標。無論 exclude_current_positions_from_observation 設定為 True 還是 False，x 和 y 座標都會在 info 中返回，鍵分別為 "x_position" 和 "y_position"。

但是，預設情況下，觀測空間為 Box(-Inf, Inf, (8,), float64)，其中元素如下

編號	觀測	最小值	最大值	名稱（在對應的 XML 檔案中）	關節	類型（單位）
0	前尖端的角度	-Inf	Inf	free_body_rot	hinge (鉸鏈)	角度 (rad)
1	第一個轉子的角度	-Inf	Inf	motor1_rot	hinge (鉸鏈)	角度 (rad)
2	第二個轉子的角度	-Inf	Inf	motor2_rot	hinge (鉸鏈)	角度 (rad)
3	沿 x 軸的前尖端速度	-Inf	Inf	slider1	滑動	速度 (m/s)
4	沿 y 軸的前尖端速度	-Inf	Inf	slider2	滑動	速度 (m/s)
5	前尖端的角速度	-Inf	Inf	free_body_rot	hinge (鉸鏈)	角速度 (rad/s)
6	第一個轉子的角速度	-Inf	Inf	motor1_rot	hinge (鉸鏈)	角速度 (rad/s)
7	第二個轉子的角速度	-Inf	Inf	motor2_rot	hinge (鉸鏈)	角速度 (rad/s)
排除	沿 x 軸的前尖端位置	-Inf	Inf	slider1	滑動	位置 (m)
排除	沿 y 軸的前尖端位置	-Inf	Inf	slider2	滑動	位置 (m)

獎勵¶

總獎勵為：獎勵 = 前進獎勵 - 控制成本。

前進獎勵：向前移動的獎勵，如果游泳者向前移動（在正 \(x\) 方向/向右方向），則此獎勵為正值。\(w_{forward} \times \frac{dx}{dt}\)，其中 \(dx\) 是（前）「尖端」的位移 (\(x_{after-action} - x_{before-action}\)), \(dt\) 是動作之間的時間，這取決於 frame_skip 參數（預設為 4），而 frametime 為 \(0.01\) - 因此預設值為 \(dt = 4 \times 0.01 = 0.04\)，\(w_{forward}\) 是 forward_reward_weight（預設值為 \(1\)）。
控制成本：懲罰游泳者採取過大動作的負獎勵。\(w_{control} \times \|action\|_2^2\)，其中 \(w_{control}\) 是 ctrl_cost_weight（預設值為 \(10^{-4}\)）。

info 包含個別的獎勵項。

起始狀態¶

初始位置狀態為 \(\mathcal{U}_{[-reset\_noise\_scale \times I_{5}, reset\_noise\_scale \times I_{5}]}\)。初始速度狀態為 \(\mathcal{U}_{[-reset\_noise\_scale \times I_{5}, reset\_noise\_scale \times I_{5}]}\)。

其中 \(\mathcal{U}\) 是多元均勻連續分佈。

回合結束¶

終止¶

游泳者永遠不會終止。

截斷¶

回合的預設持續時間為 1000 個時間步長。

引數¶

游泳者提供一系列參數來修改觀測空間、獎勵函數、初始狀態和終止條件。這些參數可以在 gymnasium.make 期間以以下方式套用

import gymnasium as gym
env = gym.make('Swimmer-v5', xml_file=...)

參數	類型	預設值	描述
`xml_file`	str	`"swimmer.xml"`	MuJoCo 模型的路徑
`forward_reward_weight`	float	`1`	forward_reward 項的權重（請參閱 `獎勵` 區段）
`ctrl_cost_weight`	float	`1e-4`	ctrl_cost 項的權重（請參閱 `獎勵` 區段）
`reset_noise_scale`	float	`0.1`	初始位置和速度的隨機擾動的比例（請參閱 `起始狀態` 區段）
`exclude_current_positions_from_observation`	bool	`True`	是否從觀測中省略 x 和 y 座標。排除位置可以作為歸納偏差，以誘導策略中與位置無關的行為（請參閱 `觀測空間` 區段）

版本歷史¶

v5
- 最低 mujoco 版本現在為 2.3.3。
- 新增使用 xml_file 引數完全自訂/第三方 mujoco 模型的支援（以前只能對現有模型進行一些變更）。
- 新增 default_camera_config 引數，這是一個用於設定 mj_camera 屬性的字典，主要用於自訂環境。
- 新增 env.observation_structure，這是一個用於指定觀測空間組合（例如 qpos、qvel）的字典，適用於為 MuJoCo 環境建立工具和封裝器。
- 使用 reset() 返回非空的 info，以前返回的是空字典，新鍵與 step() 的狀態資訊相同。
- 新增了 frame_skip 參數，用於設定 dt （step() 的持續時間），預設值因環境而異，請參閱環境文件頁面。
- 恢復了 xml_file 參數（在 v4 中已移除）。
- 新增了 forward_reward_weight 和 ctrl_cost_weight，用於設定獎勵函數（預設值與 v4 中的值基本相同）。
- 新增了 reset_noise_scale 參數，用於設定初始狀態的範圍。
- 新增了 exclude_current_positions_from_observation 參數。
- 將 info["reward_fwd"] 和 info["forward_reward"] 替換為 info["reward_forward"]，以與其他環境保持一致。
v4：所有 MuJoCo 環境現在都使用 mujoco >= 2.1.3 中的 MuJoCo 綁定。
v3：支援 gymnasium.make 的 kwargs，例如 xml_file、ctrl_cost_weight、reset_noise_scale 等。rgb 渲染來自追蹤攝影機（因此 agent 不會跑出畫面）。
v2：所有連續控制環境現在都使用 mujoco-py >= 1.50。
v1：機器人相關任務的 max_time_steps 提升至 1000。環境中加入了 reward_threshold。
v0：初始版本發布。