LRN

LRN - 13

版本

  • 名称: LRN (在 GitHub)

  • 域: main

  • 起始版本: 13

  • 函数: False

  • 支持级别: SupportType.COMMON

  • 形状推断: True

此版本的算子**自版本 13 起**可用。

摘要

AlexNet 论文中提出的局部响应归一化（Local Response Normalization）。它在局部输入区域进行归一化。局部区域定义在通道维度上。对于形状为 (N x C x D1 x D2, ..., Dk) 的张量中的元素 X[n, c, d1, ..., dk]，其区域定义为 {X[n, i, d1, ..., dk] | max(0, c - floor((size - 1) / 2)) <= i <= min(C - 1, c + ceil((size - 1) / 2))}。

square_sum[n, c, d1, ..., dk] = sum(X[n, i, d1, ..., dk] ^ 2)，其中 max(0, c - floor((size - 1) / 2)) <= i <= min(C - 1, c + ceil((size - 1) / 2))。

Y[n, c, d1, ..., dk] = X[n, c, d1, ..., dk] / (bias + alpha / size * square_sum[n, c, d1, ..., dk] ) ^ beta

属性

  • alpha - 浮点数 (默认值为 '0.0001')

    缩放参数。

  • beta - 浮点数 (默认值为 '0.75')

    指数。

  • bias - 浮点数 (默认值为 '1.0')

  • size - 整型 (必需)

    要对其求和的通道数

输入

  • X (异构) - T

    来自上一个算子的输入数据张量；图像情况下的维度为 (N x C x H x W)，其中 N 是批量大小，C 是通道数，H 和 W 是数据的高度和宽度。对于非图像情况，维度形式为 (N x C x D1 x D2 … Dn)，其中 N 是批量大小。可选地，如果维度表示生效，该操作期望输入数据张量的维度表示为 [DATA_BATCH, DATA_CHANNEL, DATA_FEATURE, DATA_FEATURE …]。

输出

  • Y (异构) - T

    输出张量，其形状和类型与输入张量相同

类型约束

  • T 在 ( tensor(bfloat16), tensor(double), tensor(float), tensor(float16) )

    将输入和输出类型约束为浮点张量。

LRN - 1

版本

  • 名称: LRN (在 GitHub)

  • 域: main

  • 起始版本: 1

  • 函数: False

  • 支持级别: SupportType.COMMON

  • 形状推断: True

此版本的算子**自版本 1 起**可用。

摘要

AlexNet 论文中提出的局部响应归一化（Local Response Normalization）。它在局部输入区域进行归一化。局部区域定义在通道维度上。对于形状为 (N x C x D1 x D2, …, Dk) 的张量中的元素 X[n, c, d1, …, dk]，其区域定义为 {X[n, i, d1, …, dk] | max(0, c - floor((size - 1) / 2)) <= i <= min(C - 1, c + ceil((size - 1) / 2))}。

square_sum[n, c, d1, …, dk] = sum(X[n, i, d1, …, dk] ^ 2)，其中 max(0, c - floor((size - 1) / 2)) <= i <= min(C - 1, c + ceil((size - 1) / 2))。

Y[n, c, d1, …, dk] = X[n, c, d1, …, dk] / (bias + alpha / size * square_sum[n, c, d1, …, dk] ) ^ beta

属性

  • alpha - 浮点数 (默认值为 '0.0001')

    缩放参数。

  • beta - 浮点数 (默认值为 '0.75')

    指数。

  • bias - 浮点数 (默认值为 '1.0')

  • size - 整型 (必需)

    要对其求和的通道数

输入

  • X (异构) - T

    来自上一个算子的输入数据张量；图像情况下的维度为 (N x C x H x W)，其中 N 是批量大小，C 是通道数，H 和 W 是数据的高度和宽度。对于非图像情况，维度形式为 (N x C x D1 x D2 … Dn)，其中 N 是批量大小。可选地，如果维度表示生效，该操作期望输入数据张量的维度表示为 [DATA_BATCH, DATA_CHANNEL, DATA_FEATURE, DATA_FEATURE …]。

输出

  • Y (异构) - T

    输出张量，其形状和类型与输入张量相同

类型约束

  • T 在 ( tensor(double), tensor(float), tensor(float16) )

    将输入和输出类型约束为浮点张量。