Gelu

Gelu - 20

版本

• 名称: Gelu (GitHub)

• 域: main

• 自版本: 20

• 功能: True

• 支持级别: SupportType.COMMON

• 形状推断: True

此版本的运算符自版本20起可用。

摘要

Gelu接收一个输入数据（张量) 并产生一个输出数据（张量)，其中高斯误差线性单元函数 \(y = 0.5 * x * (1 + erf(x/sqrt(2)))\) 应用于张量逐元素。如果属性“approximate”设置为“tanh”，则使用函数估计 \(y = 0.5 * x * (1 + Tanh(sqrt(2/\pi) * (x + 0.044715 * x^3)))\) 并将其应用于张量逐元素。

属性

• approximate - 字符串（默认值为 'none'）

  Gelu近似算法："tanh"，"none"（默认）。"none"：不使用近似。"tanh"：使用tanh近似。

输入

• X (异构) - T

  输入张量

输出

• Y (异构) - T

  输出张量

类型约束

• T 在 ( tensor(bfloat16), tensor(double), tensor(float), tensor(float16) ) 中

  将输入和输出类型约束为浮点张量。