onnx._custom_element_types

此模块定义了 numpy 不支持的自定义数据类型。函数 onnx.numpy_helper.from_array()onnx.numpy_helper.to_array() 使用它们来将数组从这些类型转换或转换为这些类型。类 onnx.reference.ReferenceEvalutor 也使用它们。例如,要为单元测试创建这样一个数组,可以方便地编写类似下面的代码

import numpy as np
from onnx import TensorProto
from onnx.reference.ops.op_cast import Cast_19 as Cast

tensor_bfloat16 = Cast.eval(np.array([0, 1], dtype=np.float32), to=TensorProto.BFLOAT16)

下面使用的 numpy 表示数据类型仅供内部使用。它们可能会在将来根据这些 numpy 类型的行业标准化而更改。

onnx._custom_element_types.bfloat16 = dtype((numpy.uint16, [('bfloat16', '<u2')]))

将 bfloat16 定义为 uint16。

onnx._custom_element_types.float4e2m1 = dtype((numpy.uint8, [('float4e2m1', 'u1')]))

定义 float 4 e2m1 类型,参见 以 4 位存储浮点数 了解技术细节。请注意,一个整数使用一个字节存储,因此它比其 onnx 大小大两倍。

onnx._custom_element_types.float8e4m3fn = dtype((numpy.uint8, [('e4m3fn', 'u1')]))

定义 float 8 e4m3fn 类型,参见 以 8 位存储浮点数 了解技术细节。

onnx._custom_element_types.float8e4m3fnuz = dtype((numpy.uint8, [('e4m3fnuz', 'u1')]))

定义 float 8 e4m3fnuz 类型,参见 以 8 位存储浮点数 了解技术细节。

onnx._custom_element_types.float8e5m2 = dtype((numpy.uint8, [('e5m2', 'u1')]))

定义 float 8 e5m2 类型,参见 以 8 位存储浮点数 了解技术细节。

onnx._custom_element_types.float8e5m2fnuz = dtype((numpy.uint8, [('e5m2fnuz', 'u1')]))

定义 float 8 e5m2fnuz 类型,参见 以 8 位存储浮点数 了解技术细节。

onnx._custom_element_types.int4 = dtype((numpy.int8, [('int4', 'i1')]))

定义 int4,参见 4 位整数类型 了解技术细节。请注意,一个整数使用一个字节存储,因此它比其 onnx 大小大两倍。

onnx._custom_element_types.uint4 = dtype((numpy.uint8, [('uint4', 'u1')]))

定义 int4,参见 4 位整数类型 了解技术细节。请注意,一个整数使用一个字节存储,因此它比其 onnx 大小大两倍。