Gelu

Gelu - 20

版本

• 名称: Gelu (GitHub)

• 域: main

• 始于版本: 20

• 函数: True

• 支持级别: SupportType.COMMON

• 形状推断: True

此版本的操作符自版本 20起可用。

摘要

Gelu 接受一个输入数据（张量) 并生成一个输出数据 (张量），其中高斯误差线性单元函数 \(y = 0.5 * x * (1 + erf(x/sqrt(2)))\) 被逐元素应用于张量。如果属性“approximate”设置为“tanh”，则函数估计 \(y = 0.5 * x * (1 + Tanh(sqrt(2/\pi) * (x + 0.044715 * x^3)))\) 将被使用并逐元素应用于张量。

属性

• approximate - 字符串（默认值为 'none'）

  Gelu 近似算法："tanh"，"none"（默认）。"none"：不使用近似。"tanh"：使用 tanh 近似。

输入

• X (异构) - T

  输入张量

输出

• Y (异构) - T

  输出张量

类型约束

• T 在 ( tensor(bfloat16), tensor(double), tensor(float), tensor(float16) ) 中

  将输入和输出类型限制为浮点张量。