Mish¶

Mish - 22¶

版本¶

名称: Mish (GitHub)
域: main
自版本: 22
函数: True
支持级别: SupportType.COMMON
形状推断: True

此版本的运算符已自版本 22起可用。

摘要¶

Mish：一种自正则化的非单调神经激活函数。

使用公式对输入张量 X 进行逐元素线性单元运算

mish(x) = x * tanh(softplus(x)) = x * tanh(ln(1 + e^{x}))

函数主体¶

此运算符的函数定义。

<
  domain: "",
  opset_import: ["" : 22]
>
Mish (X) => (Y)
{
   Softplus_X = Softplus (X)
   TanHSoftplusX = Tanh (Softplus_X)
   Y = Mul (X, TanHSoftplusX)
}

输入¶

X (异构) - T

输入张量

输出¶

Y (异构) - T

输出张量

类型约束¶

T 在 ( tensor(bfloat16), tensor(double), tensor(float), tensor(float16) )

将输入 X 和输出类型约束为浮点数张量。

Mish - 18 对 22

Mish - 18¶

版本¶

名称: Mish (GitHub)
域: main
自版本: 18
函数: True
支持级别: SupportType.COMMON
形状推断: True

此版本的运算符已自版本 18起可用。

摘要¶

Mish：一种自正则化的非单调神经激活函数。

使用公式对输入张量 X 进行逐元素线性单元运算

mish(x) = x * tanh(softplus(x)) = x * tanh(ln(1 + e^{x}))

函数主体¶

此运算符的函数定义。

<
  domain: "",
  opset_import: ["" : 18]
>
Mish (X) => (Y)
{
   Softplus_X = Softplus (X)
   TanHSoftplusX = Tanh (Softplus_X)
   Y = Mul (X, TanHSoftplusX)
}

输入¶

X (异构) - T

输入张量

输出¶

Y (异构) - T

输出张量

类型约束¶

T 在 ( tensor(double), tensor(float), tensor(float16) )

将输入 X 和输出类型约束为浮点数张量。