Mish¶

Mish - 22¶

版本¶

名称: Mish (GitHub)
域: main
起始版本: 22
函数: True
支持级别: SupportType.COMMON
形状推断: True

此版本的运算符自 版本 22 起可用。

摘要¶

Mish：一种自正则化的非单调神经网络激活函数。

使用公式对输入张量 X 执行逐元素的线性单元操作

mish(x) = x * tanh(softplus(x)) = x * tanh(ln(1 + e^{x}))

函数体¶

此操作符的函数定义。

<
  domain: "",
  opset_import: ["" : 22]
>
Mish (X) => (Y)
{
   Softplus_X = Softplus (X)
   TanHSoftplusX = Tanh (Softplus_X)
   Y = Mul (X, TanHSoftplusX)
}

输入¶

X (异构) - T

输入张量

输出¶

Y (异构) - T

输出张量

类型约束¶

T 位于 ( tensor(bfloat16), tensor(double), tensor(float), tensor(float16) )

将输入 X 和输出类型限制为浮点张量。

Mish - 18 vs 22

Mish - 18¶

版本¶

名称: Mish (GitHub)
域: main
起始版本: 18
函数: True
支持级别: SupportType.COMMON
形状推断: True

此版本的操作符自版本 18 起可用。

摘要¶

Mish：一种自正则化的非单调神经网络激活函数。

使用公式对输入张量 X 执行逐元素的线性单元操作

mish(x) = x * tanh(softplus(x)) = x * tanh(ln(1 + e^{x}))

函数体¶

此操作符的函数定义。

<
  domain: "",
  opset_import: ["" : 18]
>
Mish (X) => (Y)
{
   Softplus_X = Softplus (X)
   TanHSoftplusX = Tanh (Softplus_X)
   Y = Mul (X, TanHSoftplusX)
}

输入¶

X (异构) - T

输入张量

输出¶

Y (异构) - T

输出张量

类型约束¶

T 位于 ( tensor(double), tensor(float), tensor(float16) )

将输入 X 和输出类型限制为浮点张量。