Mish¶

Mish - 版本 22¶

版本¶

名称: Mish (GitHub)
域: main
起始版本: 22
函数: True
支持级别: SupportType.COMMON
形状推断: True

该算子版本自 版本 22 起可用。

摘要¶

Mish: 一种自正则化非单调神经激活函数。

使用公式对输入张量 X 执行线性单元逐元素操作

mish(x) = x * tanh(softplus(x)) = x * tanh(ln(1 + e^{x}))

函数体¶

该算子的函数定义。

<
  domain: "",
  opset_import: ["" : 22]
>
Mish (X) => (Y)
{
   Softplus_X = Softplus (X)
   TanHSoftplusX = Tanh (Softplus_X)
   Y = Mul (X, TanHSoftplusX)
}

输入¶

X (异构) - T

输入张量

输出¶

Y (异构) - T

输出张量

类型约束¶

T 类型为 ( tensor(bfloat16), tensor(double), tensor(float), tensor(float16) )

将输入 X 和输出类型约束为浮点张量。

Mish - 版本 18 与版本 22

Mish - 版本 18¶

版本¶

名称: Mish (GitHub)
域: main
起始版本: 18
函数: True
支持级别: SupportType.COMMON
形状推断: True

该算子版本自 版本 18 起可用。

摘要¶

Mish: 一种自正则化非单调神经激活函数。

使用公式对输入张量 X 执行线性单元逐元素操作

mish(x) = x * tanh(softplus(x)) = x * tanh(ln(1 + e^{x}))

函数体¶

该算子的函数定义。

<
  domain: "",
  opset_import: ["" : 18]
>
Mish (X) => (Y)
{
   Softplus_X = Softplus (X)
   TanHSoftplusX = Tanh (Softplus_X)
   Y = Mul (X, TanHSoftplusX)
}

输入¶

X (异构) - T

输入张量

输出¶

Y (异构) - T

输出张量

类型约束¶

T 类型为 ( tensor(double), tensor(float), tensor(float16) )

将输入 X 和输出类型约束为浮点张量。