LRN

LRN - 13

版本

  • 名称: LRN (GitHub)

  • 域: main

  • 自版本: 13

  • 函数: False

  • 支持级别: SupportType.COMMON

  • 形状推断: True

此版本的算子自版本13起可用。

摘要

局部响应归一化（LRN）在AlexNet论文中提出。它对局部输入区域进行归一化。局部区域是在通道上定义的。对于形状为(N x C x D1 x D2, ..., Dk)的张量中的元素X[n, c, d1, ..., dk]，其区域为{X[n, i, d1, ..., dk] | max(0, c - floor((size - 1) / 2)) <= i <= min(C - 1, c + ceil((size - 1) / 2))}。

square_sum[n, c, d1, ..., dk] = sum(X[n, i, d1, ..., dk] ^ 2)，其中max(0, c - floor((size - 1) / 2)) <= i <= min(C - 1, c + ceil((size - 1) / 2))。

Y[n, c, d1, ..., dk] = X[n, c, d1, ..., dk] / (bias + alpha / size * square_sum[n, c, d1, ..., dk] ) ^ beta

属性

  • alpha - FLOAT（默认值为'0.0001'）

    缩放参数。

  • beta - FLOAT（默认值为'0.75'）

    指数。

  • bias - FLOAT（默认值为'1.0'）

  • size - INT（必需）

    要相加的通道数

输入

  • X (异构) - T

    来自先前算子的输入数据张量；图像情况下的维度为（N x C x H x W），其中N是批次大小，C是通道数，H和W是数据的高度和宽度。对于非图像情况，维度采用（N x C x D1 x D2 … Dn）的形式，其中N是批次大小。可选地，如果维度表示生效，则操作期望输入数据张量以[DATA_BATCH, DATA_CHANNEL, DATA_FEATURE, DATA_FEATURE …]的维度表示到达。

输出

  • Y (异构) - T

    输出张量，其形状和类型与输入张量相同

类型约束

  • T in ( tensor(bfloat16), tensor(double), tensor(float), tensor(float16) )

    将输入和输出类型约束为浮点张量。

LRN - 1

版本

  • 名称: LRN (GitHub)

  • 域: main

  • since_version: 1

  • 函数: False

  • 支持级别: SupportType.COMMON

  • 形状推断: True

此版本的算子自版本 1起可用。

摘要

局部响应归一化，在AlexNet论文中提出。它对局部输入区域进行归一化。局部区域是在通道上定义的。对于形状为 (N x C x D1 x D2, …, Dk) 的张量中的元素 X[n, c, d1, …, dk]，其区域为 {X[n, i, d1, …, dk] | max(0, c - floor((size - 1) / 2)) <= i <= min(C - 1, c + ceil((size - 1) / 2))}。

square_sum[n, c, d1, …, dk] = sum(X[n, i, d1, …, dk] ^ 2)，其中 max(0, c - floor((size - 1) / 2)) <= i <= min(C - 1, c + ceil((size - 1) / 2))。

Y[n, c, d1, …, dk] = X[n, c, d1, …, dk] / (bias + alpha / size * square_sum[n, c, d1, …, dk] ) ^ beta

属性

  • alpha - FLOAT（默认值为'0.0001'）

    缩放参数。

  • beta - FLOAT（默认值为'0.75'）

    指数。

  • bias - FLOAT（默认值为'1.0'）

  • size - INT（必需）

    要相加的通道数

输入

  • X (异构) - T

    来自先前算子的输入数据张量；图像情况下的维度为（N x C x H x W），其中N是批次大小，C是通道数，H和W是数据的高度和宽度。对于非图像情况，维度采用（N x C x D1 x D2 … Dn）的形式，其中N是批次大小。可选地，如果维度表示生效，则操作期望输入数据张量以[DATA_BATCH, DATA_CHANNEL, DATA_FEATURE, DATA_FEATURE …]的维度表示到达。

输出

  • Y (异构) - T

    输出张量，其形状和类型与输入张量相同

类型约束

  • T in ( tensor(double), tensor(float), tensor(float16) )

    将输入和输出类型约束为浮点张量。