Swish

Swish - 24

版本

  • 名称: Swish (GitHub)

  • 域: main

  • 起始版本：24

  • 函数: True

  • 支持级别: SupportType.COMMON

  • 形状推断: True

此版本的操作符已可用于版本 24 及以上。

摘要

Swish 函数接受一个输入数据（Tensor) 并生成一个输出数据 (张量），形状相同，其中 \(Swish(x) = x * sigmoid(alpha * x)\)。

函数体

此操作符的函数定义。

<
  domain: "",
  opset_import: ["" : 24]
>
Swish <alpha>(X) => (Y)
{
   Alpha = Constant <value_float: float = @alpha> ()
   AlphaCast = CastLike (Alpha, X)
   AlphaMulX = Mul (AlphaCast, X)
   SigmoidAlphaMulX = Sigmoid (AlphaMulX)
   Y = Mul (X, SigmoidAlphaMulX)
}

属性

  • alpha - FLOAT (默认值为 '1.0')

    在 sigmoid 之前与输入相乘的系数。

输入

  • X (异构) - T

    输入张量

输出

  • Y (异构) - T

    输出张量

类型约束

  • T 在 ( tensor(bfloat16), tensor(double), tensor(float), tensor(float16) )

    将输入和输出类型限制为浮点张量。