Gelu

Gelu - 20

版本

• 名称: Gelu (GitHub)

• 域: main

• 起始版本: 20

• 函数: True

• 支持级别: SupportType.COMMON

• 形状推断: True

此版本算子自 版本 20 起可用。

摘要

Gelu 接受一个输入数据（张量）并生成一个输出数据（张量），其中对张量逐元素应用高斯误差线性单元函数 \(y = 0.5 * x * (1 + erf(x/sqrt(2)))\)。如果属性“approximate”设置为“tanh”，则使用函数估计 \(y = 0.5 * x * (1 + Tanh(sqrt(2/\pi) * (x + 0.044715 * x^3)))\) 并逐元素应用于张量。

属性

• approximate - STRING（默认为 'none'）

  Gelu 近似算法：“tanh”、“none”（默认）。“none”：不使用近似。“tanh”：使用 tanh 近似。

输入

• X（异构）- T

  输入张量

输出

• Y（异构）- T

  输出张量

类型约束

• T 在 ( tensor(bfloat16), tensor(double), tensor(float), tensor(float16) ) 中

  将输入和输出类型限制为浮点张量。