QLinearMatMul¶
QLinearMatMul - 21¶
版本¶
域:
main自版本:
21函数:
False支持级别:
SupportType.COMMON形状推断:
True
此版本的运算符已自版本 21起可用。
摘要¶
矩阵乘积，行为类似于 numpy.matmul。它接收两个量化输入张量、它们的比例和零点、输出的比例和零点，并计算量化输出。量化公式为 y = saturate((x / y_scale) + y_zero_point)。对于 (x / y_scale)，它是舍入到最接近的偶数。有关详细信息，请参阅 https://en.wikipedia.org/wiki/Rounding。比例和零点必须具有相同的形状。它们必须是标量（每个张量）或 N 维张量（对于“a”为每行，对于“b”为每列）。标量是指每个张量量化，而 N 维是指每行或每列量化。如果输入是形状为 [M, K] 的 2D，则零点和比例张量可以是 M 个元素的向量 [v_1, v_2, …, v_M]（对于每行量化），以及 K 个元素的向量（形状为 [v_1, v_2, …, v_K]）（对于每列量化）。如果输入是形状为 [D1, D2, M, K] 的 N 维张量，则零点和比例张量可以是形状为 [D1, D2, M, 1] 的张量（对于每行量化），以及形状为 [D1, D2, 1, K] 的张量（对于每列量化）。乘积永远不会溢出，而累积只有在 32 位时才会溢出。
输入¶
a (异构) - T1
N 维量化矩阵 a
a_scale (异构) - TS
量化输入 a 的比例
a_zero_point (异构) - T1
量化输入 a 的零点
b (异构) - T2
N 维量化矩阵 b
b_scale (异构) - TS
量化输入 b 的比例
b_zero_point (异构) - T2
量化输入 b 的零点
y_scale (异构) - TS
量化输出 y 的比例
y_zero_point (异构) - T3
量化输出 y 的零点
输出¶
y (异构) - T3
a * b 的量化矩阵乘积结果
类型约束¶
TS in (
tensor(bfloat16),tensor(float),tensor(float16))约束比例。
T1 in (
tensor(float8e4m3fn),tensor(float8e4m3fnuz),tensor(float8e5m2),tensor(float8e5m2fnuz),tensor(int8),tensor(uint8))输入 a 及其零点的类型。
T2 in (
tensor(float8e4m3fn),tensor(float8e4m3fnuz),tensor(float8e5m2),tensor(float8e5m2fnuz),tensor(int8),tensor(uint8))输入 b 及其零点的类型。
T3 in (
tensor(float8e4m3fn),tensor(float8e4m3fnuz),tensor(float8e5m2),tensor(float8e5m2fnuz),tensor(int8),tensor(uint8))输出及其零点的类型。
QLinearMatMul - 10¶
版本¶
域:
main自版本:
10函数:
False支持级别:
SupportType.COMMON形状推断:
True
此版本的运算符已自版本 10起可用。
摘要¶
矩阵乘积，行为类似于 numpy.matmul。它接收两个量化输入张量、它们的比例和零点、输出的比例和零点，并计算量化输出。量化公式为 y = saturate((x / y_scale) + y_zero_point)。对于 (x / y_scale)，它是舍入到最接近的偶数。有关详细信息，请参阅 https://en.wikipedia.org/wiki/Rounding。比例和零点必须具有相同的形状。它们必须是标量（每个张量）或 N 维张量（对于“a”为每行，对于“b”为每列）。标量是指每个张量量化，而 N 维是指每行或每列量化。如果输入是形状为 [M, K] 的 2D，则零点和比例张量可以是 M 个元素的向量 [v_1, v_2, …, v_M]（对于每行量化），以及 K 个元素的向量（形状为 [v_1, v_2, …, v_K]）（对于每列量化）。如果输入是形状为 [D1, D2, M, K] 的 N 维张量，则零点和比例张量可以是形状为 [D1, D2, M, 1] 的张量（对于每行量化），以及形状为 [D1, D2, 1, K] 的张量（对于每列量化）。乘积永远不会溢出，而累积只有在 32 位时才会溢出。
输入¶
a (异构) - T1
N 维量化矩阵 a
a_scale (异构) - tensor(float)
量化输入 a 的比例
a_zero_point (异构) - T1
量化输入 a 的零点
b (异构) - T2
N 维量化矩阵 b
b_scale (异构) - tensor(float)
量化输入 b 的比例
b_zero_point (异构) - T2
量化输入 b 的零点
y_scale (异构) - tensor(float)
量化输出 y 的比例
y_zero_point (异构) - T3
量化输出 y 的零点
输出¶
y (异构) - T3
a * b 的量化矩阵乘积结果
类型约束¶
T1 in (
tensor(int8),tensor(uint8))将输入 a 及其零点数据类型约束为 8 位整数张量。
T2 in (
tensor(int8),tensor(uint8))将输入 b 及其零点数据类型约束为 8 位整数张量。
T3 in (
tensor(int8),tensor(uint8))将输出 y 及其零点数据类型约束为 8 位整数张量。