ai.onnx.preview.training - Gradient¶
Gradient - 1 (ai.onnx.preview.training)¶
版本¶
**名称**: Gradient (GitHub)
**域**:
ai.onnx.preview.training**自版本**:
1**函数**:
False**支持级别**:
SupportType.COMMON**形状推断**:
False
此版本的运算符**自 ai.onnx.preview.training 域的版本 1 起可用**。
摘要¶
梯度运算符计算特定张量相对于某些其他张量的偏导数。此运算符广泛用于基于梯度的训练算法。为了说明其用途，让我们考虑一个计算图，
X -----.
|
v
W --> Conv --> H --> Gemm --> Y
^
|
Z
其中 W 和 Z 是可训练的张量。请注意，为了简单起见，运算符的属性被省略了。令 dY/dW (dY/dZ) 为 Y 相对于 W (Z) 的梯度。用户可以通过插入梯度运算符来形成另一个图，如下所示。
W --> Conv --> H --> Gemm --> Y
| ^ ^
| | |
| X Z
| | |
| | .----------'
| | | (W/Z/X is the 1st/2nd/3rd input of Gradient as shown in
| | | "xs" followed by "zs")
| v v
'---> Gradient(xs=["W", "Z"], zs=["X"], y="Y")
| |
| '-----------------------------------> dY/dW (1st output of Gradient)
|
'---------------------------------------> dY/dZ (2nd output of Gradient)
根据定义，张量“y”是“xs”和“zs”中自变量的函数。由于我们仅计算“y”相对于“xs”中可微变量的梯度，因此此梯度仅输出 dY/dW 和 dY/dZ。请注意，“H”不能出现在“xs”和“zs”中。原因是“H”可以由张量“W”和“X”确定，因此“H”不是自变量。
所有输出都是可选的。如果需要，例如，用户可以将空字符串分配给该梯度的第一个输出名称以跳过 dY/dW 的生成。请注意，可选输出的概念也可以在 ONNX 的 RNN、GRU 和 LSTM 中找到。
梯度运算符可以计算相对于中间张量的导数。例如，Y 相对于 H 的梯度可以通过以下方式完成
W --> Conv --> H --> Gemm --> Y
^ | ^
| | |
X | Z
.-------' |
| .----------'
| | (H/Z is the 1st/2nd input of Gradient as shown in "xs")
v v
Gradient(xs=["H", "Z"], y="Y")
| |
| '-----------------------------------> dY/dH (1st output of Gradient)
|
'---------------------------------------> dY/dZ (2nd output of Gradient)
可以使用梯度运算符表示高阶微分。例如，给定以下线性模型
W --> Gemm --> Y --> Loss --> O
^ ^
| |
X L
要计算 O 相对于 W 的二阶导数（表示为 d^2O/dW^2），可以执行以下操作
W --> Gemm --> Y --> Loss --> O
| ^ ^
| | |
| X .------------L
| | | |
| | | v
+------+-+> Gradient(xs=["X", "W"], zs=["L"], y="O") ---> dO/dX (1st output of Gradient)
| | | |
| | | '---> dO/dW (2nd output of Gradient)
| v v
'---> Gradient(xs=["X", "W"], zs=["L"], y="dO/dW") ---> d(dO/dW)dX (1st output of
| Gradient)
|
|
'---> d^2O/dW^2 (2nd output of Gradient)
属性“xs”、“zs”和“y”中命名的张量定义了微分计算图，而梯度节点的输入定义了计算梯度的值。我们可以将不同的张量馈送到标识的图中。例如，可以通过提供该值作为梯度节点的输入来计算 Y 相对于 H 在 H 的特定值 H_1 处的梯度。
W --> Conv --> H --> Gemm --> Y
^ ^
| |
X Z
Z_1 (2nd input of Gradient)
|
v
H_1 --> Gradient(xs=["H", "Z"], y="Y") ---> dY/dH when H = H_1 and Y = Y_1.
|
'------------------------------> dY/dZ (2nd output of Gradient)
当梯度的输入是“xs”和“zs”中命名的张量时，可以优化计算。更具体地说，如果通过反向模式自动微分计算梯度，则可以重用前向传递中的中间变量。
属性¶
**xs - 字符串**（必需）
微分子图的输入张量名称。它仅包含（子）图的必要微分输入。可以从输入生成的变量（通常称为中间变量）不能包含在此属性中。
**y - 字符串**（必需）
目标张量。可以将其视为微分函数的输出。“xs”属性和“zs”属性是确定“y”值的最小独立变量集。
zs - 字符串 :
微分子图的输入张量名称。它仅包含（子）图的必要非微分输入。可以从输入生成的变量（通常称为中间变量）不能包含在此属性中。
输入¶
1 到 2147483647 个输入。
**输入**（可变） - **T1**
馈送到属性标识的图中的值。第 i 个输入是“xs”属性和“zs”属性的连接列表中指定的第 i 个张量的值。例如，如果 xs=[“A”, “B”] 且 zs=[“C”]，则第一个输入用作符号“A”的值，并且第三个输入替换“C”的所有出现。
输出¶
1 到 2147483647 个输出。
**输出**（可变） - **T2**
张量“y”相对于“xs”属性中指定的每个张量的梯度。第 i 个输出是“y”相对于“xs”属性中指定的第 i 个张量的梯度。
类型约束¶
T1 in (
tensor(bool),tensor(complex128),tensor(complex64),tensor(double),tensor(float),tensor(float16),tensor(int16),tensor(int32),tensor(int64),tensor(int8),tensor(string),tensor(uint16),tensor(uint32),tensor(uint64),tensor(uint8))允许输出为任何类型的张量。
T2 in (
tensor(double),tensor(float),tensor(float16))允许输入为任何类型的浮点张量。