Ant

../../../_images/ant.gif

此環境是 Mujoco 環境的一部分，其中包含有關環境的一般資訊。

動作空間

Box(-1.0, 1.0, (8,), float32)

觀察空間

Box(-inf, inf, (105,), float64)

匯入

gymnasium.make("Ant-v5")

描述

此環境基於 Schulman、Moritz、Levine、Jordan 和 Abbeel 在「使用廣義優勢估計的高維連續控制」中介紹的環境。螞蟻是一種 3D 四足機器人，由一個軀幹（自由旋轉體）和附著在其上的四條腿組成，每條腿有兩個身體部分。目標是透過將扭矩施加到連接每條腿的兩個身體部分和軀幹的八個鉸鏈（九個身體部分和八個鉸鏈）來協調四條腿向前（向右）移動。

注意：雖然機器人被稱為「螞蟻」，但它實際上高 75 公分，重 910.88 公克，其中軀幹重 327.25 公克，每條腿重 145.91 公克。

動作空間

../../../_images/ant.png

動作空間為 Box(-1, 1, (8,), float32)。一個動作表示施加在鉸鏈關節上的扭矩。

編號

動作

控制最小值

控制最大值

名稱 (在相應的 XML 檔案中)

關節

類型 (單位)

0

施加在軀幹和後右髖部之間的轉子上的扭矩

-1

1

hip_4 (右後腿)

鉸鏈

扭矩 (牛頓米)

1

施加在後右兩個連結之間的轉子上的扭矩

-1

1

angle_4 (右後腿)

鉸鏈

扭矩 (牛頓米)

2

施加在軀幹和前左髖部之間的轉子上的扭矩

-1

1

hip_1 (前左腿)

鉸鏈

扭矩 (牛頓米)

3

施加在前左兩個連結之間的轉子上的扭矩

-1

1

angle_1 (前左腿)

鉸鏈

扭矩 (牛頓米)

4

施加在軀幹和前右髖部之間的轉子上的扭矩

-1

1

hip_2 (前右腿)

鉸鏈

扭矩 (牛頓米)

5

施加在前右兩個連結之間的轉子上的扭矩

-1

1

angle_2 (前右腿)

鉸鏈

扭矩 (牛頓米)

6

施加在軀幹和後左髖部之間的轉子上的扭矩

-1

1

hip_3 (後腿)

鉸鏈

扭矩 (牛頓米)

7

施加在後左兩個連結之間的轉子上的扭矩

-1

1

angle_3 (後腿)

鉸鏈

扭矩 (牛頓米)

觀察空間

觀察空間由以下部分組成 (依序)

  • qpos (預設為 13 個元素): 機器人身體部位的位置值。

  • qvel (14 個元素): 這些個別身體部位的速度 (它們的導數)。

  • cfrc_ext (78 個元素): 這是基於質心的身體部位的外部力。它具有 13 * 6 (nbody * 6) 的形狀，因此在狀態空間中增加了 78 個元素。(外部力 - 力 x、y、z 和扭矩 x、y、z)

預設情況下，觀察結果不包括軀幹的 x 和 y 坐標。這些可以透過在建構期間傳遞 exclude_current_positions_from_observation=False 來包含。在這種情況下，觀察空間將為 Box(-Inf, Inf, (107,), float64)，其中前兩個觀察結果是軀幹的 x 和 y 坐標。無論 exclude_current_positions_from_observation 是否設定為 True 或 False，x 和 y 坐標都會在 info 中傳回，並分別使用索引鍵 "x_position" 和 "y_position"。

然而，預設情況下，觀察空間是 Box(-Inf, Inf, (105,), float64)，其中位置和速度元素如下

編號

觀察

最小值

最大值

名稱 (在相應的 XML 檔案中)

關節

類型 (單位)

0

軀幹 (中心) 的 z 坐標

-Inf

Inf

root

free

位置 (公尺)

1

軀幹 (中心) 的 w 方向

-Inf

Inf

root

free

角度 (弧度)

2

軀幹 (中心) 的 x 方向

-Inf

Inf

root

free

角度 (弧度)

3

軀幹 (中心) 的 y 方向

-Inf

Inf

root

free

角度 (弧度)

4

軀幹 (中心) 的 z 方向

-Inf

Inf

root

free

角度 (弧度)

5

軀幹與前左側第一個連結之間的角度

-Inf

Inf

hip_1 (前左腿)

鉸鏈

角度 (弧度)

6

前左側兩個連結之間的角度

-Inf

Inf

ankle_1 (前左腿)

鉸鏈

角度 (弧度)

7

軀幹與前右側第一個連結之間的角度

-Inf

Inf

hip_2 (前右腿)

鉸鏈

角度 (弧度)

8

前右側兩個連結之間的角度

-Inf

Inf

ankle_2 (前右腿)

鉸鏈

角度 (弧度)

9

軀幹與後左側第一個連結之間的角度

-Inf

Inf

hip_3 (後腿)

鉸鏈

角度 (弧度)

10

後左側兩個連結之間的角度

-Inf

Inf

ankle_3 (後腿)

鉸鏈

角度 (弧度)

11

軀幹與後右側第一個連結之間的角度

-Inf

Inf

hip_4 (右後腿)

鉸鏈

角度 (弧度)

12

後右側兩個連結之間的角度

-Inf

Inf

ankle_4 (右後腿)

鉸鏈

角度 (弧度)

13

軀幹的 x 坐標速度

-Inf

Inf

root

free

速度 (公尺/秒)

14

軀幹的 y 坐標速度

-Inf

Inf

root

free

速度 (公尺/秒)

15

軀幹的 z 坐標速度

-Inf

Inf

root

free

速度 (公尺/秒)

16

軀幹的 x 坐標角速度

-Inf

Inf

root

free

角速度 (弧度/秒)

17

軀幹的 y 坐標角速度

-Inf

Inf

root

free

角速度 (弧度/秒)

18

軀幹的 z 坐標角速度

-Inf

Inf

root

free

角速度 (弧度/秒)

19

軀幹與前左連結之間角度的角速度

-Inf

Inf

hip_1 (前左腿)

鉸鏈

角度 (弧度)

20

前左連結之間角度的角速度

-Inf

Inf

ankle_1 (前左腿)

鉸鏈

角度 (弧度)

21

軀幹與前右連結之間角度的角速度

-Inf

Inf

hip_2 (前右腿)

鉸鏈

角度 (弧度)

22

前右連結之間角度的角速度

-Inf

Inf

ankle_2 (前右腿)

鉸鏈

角度 (弧度)

23

軀幹與後左連結之間角度的角速度

-Inf

Inf

hip_3 (後腿)

鉸鏈

角度 (弧度)

24

後左連結之間角度的角速度

-Inf

Inf

ankle_3 (後腿)

鉸鏈

角度 (弧度)

25

軀幹與後右連結之間角度的角速度

-Inf

Inf

hip_4 (右後腿)

鉸鏈

角度 (弧度)

26

後右連結之間角度的角速度

-Inf

Inf

ankle_4 (右後腿)

鉸鏈

角度 (弧度)

排除

軀幹 (中心) 的 x 坐標

-Inf

Inf

root

free

位置 (公尺)

排除

軀幹 (中心) 的 y 坐標

-Inf

Inf

root

free

位置 (公尺)

身體部位為

身體部位

id (適用於 v2、v3、v4)

id (適用於 v5)

worldbody (注意：所有值都是常數 0)

0

排除

軀幹

1

0

前左腿

2

1

aux_1 (前左腿)

3

2

ankle_1 (前左腿)

4

3

前右腿

5

4

aux_2 (前右腿)

6

5

ankle_2 (前右腿)

7

6

後腿 (後左腿)

8

7

aux_3 (後左腿)

9

8

ankle_3 (後左腿)

10

9

右後腿

11

10

aux_4 (後右腿)

12

11

ankle_4 (後右腿)

13

12

(x,y,z) 坐標是平移自由度，而方向是表示為四元數的旋轉自由度。您可以在MuJoCo 文件中閱讀更多有關自由關節的資訊。

注意：當使用 Ant-v3 或更早版本時，據報使用 > 2.0 的 mujoco-py 版本時會出現問題，導致接觸力始終為 0。因此，如果您想報告接觸力的結果 (如果在您的實驗中未使用接觸力，則可以使用 > 2.0 版本)，建議在使用 Ant 環境時使用 < 2.0 的 mujoco-py 版本。

獎勵

總獎勵為 獎勵 = 健康獎勵 + 前進獎勵 - 控制成本 - 接觸成本。

  • 健康獎勵：在螞蟻健康的每個時間步長 (請參閱「回合結束」部分中的定義)，它都會獲得固定值 健康獎勵 的獎勵 (預設值為 \(1\))。

  • 前進獎勵：向前移動的獎勵，如果螞蟻向前移動 (在正 \(x\) 方向/向右方向)，此獎勵將為正值。\(w_{forward} \times \frac{dx}{dt}\)，其中 \(dx\) 是 main_body 的位移 (\(x_{action-後} - x_{action-前}\))，\(dt\) 是動作之間的時間，這取決於 frame_skip 參數 (預設值為 \(5\))，以及 frametime，即 \(0.01\) - 因此預設值為 \(dt = 5 \times 0.01 = 0.05\)，\(w_{forward}\) 是 forward_reward_weight (預設值為 \(1\))。

  • 控制成本：懲罰螞蟻採取太大動作的負獎勵。\(w_{control} \times \|action\|_2^2\)，其中 \(w_{control}\) 是 ctrl_cost_weight (預設值為 \(0.5\))。

  • 接觸成本：當外部接觸力過大時，給予螞蟻負獎勵以進行懲罰。\(w_{contact} \times \|F_{contact}\|_2^2\)，其中 \(w_{contact}\) 為 contact_cost_weight （預設值為 \(5\times10^{-4}\)），\(F_{contact}\) 是外部接觸力，並以 contact_force_range 進行截斷（請參閱觀察空間的 cfrc_ext 部分）。

info 包含各個獎勵項。

但是，如果在 v4 上設定 use_contact_forces=False，則返回的總獎勵為 獎勵 = 健康獎勵 + 前進獎勵 - 控制成本。

起始狀態

初始位置狀態為 \([0.0, 0.0, 0.75, 1.0, 0.0, ... 0.0] + \mathcal{U}_{[-reset\_noise\_scale \times I_{15}, reset\_noise\_scale \times I_{15}]}\)。初始速度狀態為 \(\mathcal{N}(0_{14}, reset\_noise\_scale^2 \times I_{14})\)。

其中 \(\mathcal{N}\) 為多元常態分佈，\(\mathcal{U}\) 為多元均勻連續分佈。

請注意，z 座標和 x 座標為非零值，以便螞蟻可以立即站立並面向前方（x 軸）。

回合結束

終止

如果 terminate_when_unhealthy 為 True （預設值），當螞蟻不健康時，環境會終止。如果發生以下任何情況，則螞蟻不健康：

  1. 任何狀態空間的值不再是有限值。

  2. 軀幹的 z 座標（高度）不 在 healthy_z_range 參數給定的閉區間內（預設值為 \([0.2, 1.0]\)）。

截斷

回合的預設持續時間為 1000 個時間步。

參數

Ant 提供一系列參數來修改觀察空間、獎勵函數、初始狀態和終止條件。這些參數可以在 gymnasium.make 中以以下方式應用：

import gymnasium as gym
env = gym.make('Ant-v5', ctrl_cost_weight=0.5, ...)

參數

類型

預設值

描述

xml_file

字串

"ant.xml"

MuJoCo 模型的路徑

forward_reward_weight

浮點數

1

forward_reward 項的權重（請參閱「獎勵」部分）

ctrl_cost_weight

浮點數

0.5

浮點數

contact_cost_weight

浮點數

5e-4

contact_cost 項的權重（請參閱「獎勵」部分）

healthy_reward

浮點數

1

浮點數

main_body

字串|整數

1 （「軀幹」）

用於計算 dx/forward_reward 的物體名稱或 ID（適用於自訂 MuJoCo 模型）（請參閱「獎勵」部分）

terminate_when_unhealthy

布林值

True

如果為 True，則在不健康時發出 terminated 信號（請參閱「回合 結束」部分）

healthy_z_range

元組

(0.2, 1)

如果軀幹的 z 座標在此範圍內，則認為螞蟻是健康的（請參閱「回合 結束」部分）

contact_force_range

元組

(-1, 1)

元組

reset_noise_scale

浮點數

0.1

浮點數

exclude_current_positions_from_observation

布林值

True

布林值

include_cfrc_ext_in_observation

布林值

True

布林值

use_contact_forces（僅限 v4）

布林值

布林值

如果為 True，它會透過添加接觸力來擴展觀察空間（請參閱「觀察 空間」部分）並將 contact_cost 包含到獎勵函數中（請參閱「獎勵」部分）

版本歷史

  • v5

    • 現在最低 mujoco 版本為 2.3.3。

    • 新增了使用 xml_file 參數支援完全自訂/第三方 mujoco 模型（先前只能對現有模型進行少量更改）。

    • 新增了 default_camera_config 參數，這是一個用於設定 mj_camera 屬性的字典，主要用於自訂環境。

    • 新增了 env.observation_structure，這是一個用於指定觀察空間組成的字典（例如 qpos、qvel），適用於為 MuJoCo 環境建立工具和包裝器。

    • 使用 reset() 返回非空的 info，先前返回一個空的字典，新鍵與 step() 中的狀態資訊相同。

    • 新增了 frame_skip 參數，用於設定 dt（step() 的持續時間），預設值因環境而異，請查看環境文件頁面。

    • 修正錯誤：healthy_reward 在每個步驟中都會給予（即使螞蟻不健康），現在僅在螞蟻健康時給予。info["reward_survive"] 會隨著此更改而更新（相關的 GitHub 議題）。

    • 獎勵函數現在始終包含 contact_cost，之前僅在 use_contact_forces=True 時才包含（可以使用 contact_cost_weight=0 設定為 0）。

    • 從觀察空間中排除 worldbody 的 cfrc_ext，因為它始終為 0，因此沒有為代理提供有用的資訊，從而加快了訓練速度（相關的 GitHub 議題）。

    • 新增了 main_body 參數，它指定用於計算前進獎勵的物體（主要用於自訂 MuJoCo 模型）。

    • 新增了 forward_reward_weight 參數，其預設值為 1（與 v4 中的行為相同）。

    • 新增了 include_cfrc_ext_in_observation 參數，先前在 v4 中，是否包含 cfrc_ext 觀察是由 use_contact_forces 控制的，該參數預設為 False，而 include_cfrc_ext_in_observation 預設為 True。

    • 移除了 use_contact_forces 參數（注意：其功能已由 include_cfrc_ext_in_observation 和 contact_cost_weight 取代）（相關的 GitHub 議題）。

    • 修正了 info["reward_ctrl"] 有時包含 contact_cost 而不是 ctrl_cost 的問題。

    • 修正了 info["x_position"]、info["y_position"] 和 info["distance_from_origin"] 給出 xpos 而不是 qpos 觀察值的問題（xpos 觀察值比 mj_step() 落後 1 個 這裡）（相關的 GitHub 議題 #1 和 GitHub 議題 #2）。

    • 移除了 info["forward_reward"]，因為它等同於 info["reward_forward"]。

  • v4：所有 MuJoCo 環境現在都使用 mujoco >= 2.1.3 中的 MuJoCo 綁定，並且也從預設觀察空間中移除了接觸力（新的變數 use_contact_forces=True 可以恢復它們）。

  • v3：支援 gymnasium.make kwargs，例如 xml_file、ctrl_cost_weight、reset_noise_scale 等。rgb 渲染來自追蹤攝影機（因此代理不會跑出螢幕）。

  • v2：所有連續控制環境現在都使用 mujoco-py >= 1.50。

  • v1：機器人基礎任務的最大時間步數提高到 1000。為環境新增了 reward_threshold。

  • v0：初始版本發佈