负对数似然损失¶
负对数似然损失 - 22¶
版本¶
名称: 负对数似然损失 (GitHub)
域:
main自版本:
22函数:
True支持级别:
SupportType.COMMON形状推断:
True
此版本的运算符自版本 22起可用。
摘要¶
负对数似然损失运算符计算（加权）负对数似然损失。其“输入”张量的形状为 (N, C, d1, d2, …, dk)，其中 k >= 0。“输入”张量包含 input[n, :, d_1, d_2,…, d_k] 属于 [0, C) 中某个类的对数概率。运算符的“目标”输入张量的形状为 (N, d1, d2, …, dk)。它编码类标签（C 个类中的一个），或者可能包含一个特殊值（由属性 ignore_index 指示）用于 N x d1 x d2 x … x dk 个样本。input[n, :, d_1, d_2,…d_k] 被分类为类 c = target[n][d_1][d_2]…[d_k] 的损失值计算如下
loss[n][d_1][d_2]...[d_k] = -input[n][c][d_1][d_2]...[d_k].
当提供可选的“权重”时，样本损失计算如下
loss[n][d_1][d_2]...[d_k] = -input[n][c][d_1][d_2]...[d_k] * weight[c].
当目标值等于 ignore_index 时，损失为零。
loss[n][d_1][d_2]...[d_k] = 0, when target[n][d_1][d_2]...[d_k] = ignore_index
如果“reduction”属性设置为“none”，则运算符的输出将是上述形状为 (N, d1, d2, …, dk) 的损失。如果“reduction”属性设置为“mean”（默认属性值），则输出损失为（加权）平均值
mean(loss), if "weight" is not provided,
或者如果提供了权重，则为
sum(loss) / sum(weight[target[n][d_1][d_2]...[d_k]]]), for all samples.
如果“reduction”属性设置为“sum”，则输出为标量：sum(loss)。
另请参阅 https://pytorch.ac.cn/docs/stable/nn.html#torch.nn.NLLLoss。
示例 1
// negative log likelihood loss, "none" reduction
N, C, d1 = 2, 3, 2
input = [[[1.0, 2.0], [2.0, 2.0], [3.0, 2.0]],
[[0.0, 1.0], [2.0, 2.0], [1.0, 2]]]
target = [[2, 1], [0, 2]]
loss = np.zeros((N, d1))
for n in range(N):
for d_1 in range(d1):
c = target[n][d_1]
loss[n][d_1] = -input[n][c][d_1]
// print(loss)
// [[-3. -2.]
// [-0. -2.]]
示例 2
// weighted negative log likelihood loss, sum reduction
N, C, d1 = 2, 3, 2
input = [[[1.0, 2.0], [2.0, 2.0], [3.0, 2.0]],
[[0.0, 1.0], [2.0, 2.0], [1.0, 2]]]
target = [[2, 1], [0, 2]]
weight = [0.2, 0.3, 0.1]
loss = np.zeros((N, d1))
for n in range(N):
for d_1 in range(d1):
c = target[n][d_1]
loss[n][d_1] = -input[n][c][d_1] * weight[c]
loss = np.sum(loss)
// print(loss)
// -1.1
示例 3
// weighted negative log likelihood loss, mean reduction
N, C, d1 = 2, 3, 2
input = [[[1.0, 2.0], [2.0, 2.0], [3.0, 2.0]],
[[0.0, 1.0], [2.0, 2.0], [1.0, 2]]]
target = [[2, 1], [0, 2]]
weight = [0.2, 0.3, 0.1]
loss = np.zeros((N, d1))
weight_total = 0
for n in range(N):
for d_1 in range(d1):
c = target[n][d_1]
loss[n][d_1] = -input[n][c][d_1] * weight[c]
weight_total = weight_total + weight[c]
loss = np.sum(loss) / weight_total
// print(loss)
// -1.57
属性¶
ignore_index - INT :
指定一个被忽略的目标值，并且不会对输入梯度产生贡献。这是一个可选值。
reduction - STRING（默认为
'mean'）要应用于损失的归约类型：none、sum、mean（默认）。'none'：输出是每个样本的损失。'sum'：输出将被求和。'mean'：输出的总和将除以应用权重的总和。
输入¶
2 到 3 个输入。
input (异构) - T
形状为 (N, C) 或 (N, C, d1, d2, …, dk) 的输入张量。
target (异构) - Tind
形状为 (N) 或 (N, d1, d2, …, dk) 的目标张量。目标元素值应在 [0, C) 范围内。如果指定了 ignore_index，它可能具有 [0, C) 之外的值，并且目标值应在 [0, C) 范围内或具有值 ignore_index。
weight（可选，异构） - T
可选的重新缩放权重张量。如果给出，它必须是大小为 C 的张量。否则，它被视为具有全为 1 的值。
输出¶
loss (异构) - T
负对数似然损失
类型约束¶
T in (
tensor(bfloat16),tensor(double),tensor(float),tensor(float16))将输入、权重和输出类型约束为浮点张量。
Tind in (
tensor(int32),tensor(int64))将目标约束为整数类型
负对数似然损失 - 13¶
版本¶
名称: 负对数似然损失 (GitHub)
域:
main自版本:
13函数:
True支持级别:
SupportType.COMMON形状推断:
True
此版本的运算符自版本 13起可用。
摘要¶
负对数似然损失运算符计算（加权）负对数似然损失。其“输入”张量的形状为 (N, C, d1, d2, …, dk)，其中 k >= 0。“输入”张量包含 input[n, :, d_1, d_2,…, d_k] 属于 [0, C) 中某个类的对数概率。运算符的“目标”输入张量的形状为 (N, d1, d2, …, dk)。它编码类标签（C 个类中的一个），或者可能包含一个特殊值（由属性 ignore_index 指示）用于 N x d1 x d2 x … x dk 个样本。input[n, :, d_1, d_2,…d_k] 被分类为类 c = target[n][d_1][d_2]…[d_k] 的损失值计算如下
loss[n][d_1][d_2]...[d_k] = -input[n][c][d_1][d_2]...[d_k].
当提供可选的“权重”时，样本损失计算如下
loss[n][d_1][d_2]...[d_k] = -input[n][c][d_1][d_2]...[d_k] * weight[c].
当目标值等于 ignore_index 时，损失为零。
loss[n][d_1][d_2]...[d_k] = 0, when target[n][d_1][d_2]...[d_k] = ignore_index
如果“reduction”属性设置为“none”，则运算符的输出将是上述形状为 (N, d1, d2, …, dk) 的损失。如果“reduction”属性设置为“mean”（默认属性值），则输出损失为（加权）平均值
mean(loss), if "weight" is not provided,
或者如果提供了权重，则为
sum(loss) / sum(weight[target[n][d_1][d_2]...[d_k]]]), for all samples.
如果“reduction”属性设置为“sum”，则输出为标量：sum(loss)。
另请参阅 https://pytorch.ac.cn/docs/stable/nn.html#torch.nn.NLLLoss。
示例 1
// negative log likelihood loss, "none" reduction
N, C, d1 = 2, 3, 2
input = [[[1.0, 2.0], [2.0, 2.0], [3.0, 2.0]],
[[0.0, 1.0], [2.0, 2.0], [1.0, 2]]]
target = [[2, 1], [0, 2]]
loss = np.zeros((N, d1))
for n in range(N):
for d_1 in range(d1):
c = target[n][d_1]
loss[n][d_1] = -input[n][c][d_1]
// print(loss)
// [[-3. -2.]
// [-0. -2.]]
示例 2
// weighted negative log likelihood loss, sum reduction
N, C, d1 = 2, 3, 2
input = [[[1.0, 2.0], [2.0, 2.0], [3.0, 2.0]],
[[0.0, 1.0], [2.0, 2.0], [1.0, 2]]]
target = [[2, 1], [0, 2]]
weight = [0.2, 0.3, 0.1]
loss = np.zeros((N, d1))
for n in range(N):
for d_1 in range(d1):
c = target[n][d_1]
loss[n][d_1] = -input[n][c][d_1] * weight[c]
loss = np.sum(loss)
// print(loss)
// -1.1
示例 3
// weighted negative log likelihood loss, mean reduction
N, C, d1 = 2, 3, 2
input = [[[1.0, 2.0], [2.0, 2.0], [3.0, 2.0]],
[[0.0, 1.0], [2.0, 2.0], [1.0, 2]]]
target = [[2, 1], [0, 2]]
weight = [0.2, 0.3, 0.1]
loss = np.zeros((N, d1))
weight_total = 0
for n in range(N):
for d_1 in range(d1):
c = target[n][d_1]
loss[n][d_1] = -input[n][c][d_1] * weight[c]
weight_total = weight_total + weight[c]
loss = np.sum(loss) / weight_total
// print(loss)
// -1.57
属性¶
ignore_index - INT :
指定一个被忽略的目标值，并且不会对输入梯度产生贡献。这是一个可选值。
reduction - STRING（默认为
'mean'）要应用于损失的归约类型：none、sum、mean（默认）。'none'：输出是每个样本的损失。'sum'：输出将被求和。'mean'：输出的总和将除以应用权重的总和。
输入¶
2 到 3 个输入。
input (异构) - T
形状为 (N, C) 或 (N, C, d1, d2, …, dk) 的输入张量。
target (异构) - Tind
形状为 (N) 或 (N, d1, d2, …, dk) 的目标张量。目标元素值应在 [0, C) 范围内。如果指定了 ignore_index，它可能具有 [0, C) 之外的值，并且目标值应在 [0, C) 范围内或具有值 ignore_index。
weight（可选，异构） - T
可选的重新缩放权重张量。如果给出，它必须是大小为 C 的张量。否则，它被视为具有全为 1 的值。
输出¶
loss (异构) - T
负对数似然损失
类型约束¶
T in (
tensor(double),tensor(float),tensor(float16))将输入、权重和输出类型约束为浮点张量。
Tind in (
tensor(int32),tensor(int64))将目标约束为整数类型
负对数似然损失 - 12¶
版本¶
名称: 负对数似然损失 (GitHub)
域:
main自版本:
12函数:
True支持级别:
SupportType.COMMON形状推断:
True
此版本的运算符自版本 12起可用。
摘要¶
负对数似然损失运算符计算（加权）负对数似然损失。其“输入”张量的形状为 (N, C, d1, d2, …, dk)，其中 k >= 0。“输入”张量包含 input[n, :, d_1, d_2,…, d_k] 属于 [0, C) 中某个类的对数概率。运算符的“目标”输入张量的形状为 (N, d1, d2, …, dk)。它编码类标签（C 个类中的一个），或者可能包含一个特殊值（由属性 ignore_index 指示）用于 N x d1 x d2 x … x dk 个样本。input[n, :, d_1, d_2,…d_k] 被分类为类 c = target[n][d_1][d_2]…[d_k] 的损失值计算如下：loss[n][d_1][d_2]…[d_k] = -input[n][c][d_1][d_2]…[d_k]。当提供可选的“权重”时，样本损失计算如下：loss[n][d_1][d_2]…[d_k] = -input[n][c][d_1][d_2]…[d_k] * weight[c]。当目标值等于 ignore_index 时，损失为零。
loss[n][d_1][d_2]...[d_k] = 0, when target[n][d_1][d_2]...[d_k] = ignore_index
如果“reduction”属性设置为“none”，则运算符的输出将是上述形状为 (N, d1, d2, …, dk) 的损失。如果“reduction”属性设置为“mean”（默认属性值），则输出损失为（加权）平均值：mean(loss)，如果未提供“weight”，或者如果提供了weight，则为sum(loss) / sum(weight[target[n][d_1][d_2]…[d_k]])，对于所有样本。如果“reduction”属性设置为“sum”，则输出为标量：sum(loss)。另请参见 https://pytorch.ac.cn/docs/stable/nn.html#torch.nn.NLLLoss。示例 1：// 负对数似然损失，“none”归约 N, C, d1 = 2, 3, 2 input = [[[1.0, 2.0], [2.0, 2.0], [3.0, 2.0]], [[0.0, 1.0], [2.0, 2.0], [1.0, 2]]] target = [[2, 1], [0, 2]] loss = np.zeros((N, d1)) for n in range(N): for d_1 in range(d1): c = target[n][d_1] loss[n][d_1] = -input[n][c][d_1] // print(loss) // [[-3. -2.] // [-0. -2.]] 示例 2：// 加权负对数似然损失，sum 归约 N, C, d1 = 2, 3, 2 input = [[[1.0, 2.0], [2.0, 2.0], [3.0, 2.0]], [[0.0, 1.0], [2.0, 2.0], [1.0, 2]]] target = [[2, 1], [0, 2]] weight = [0.2, 0.3, 0.1] loss = np.zeros((N, d1)) for n in range(N): for d_1 in range(d1): c = target[n][d_1] loss[n][d_1] = -input[n][c][d_1] * weight[c] loss = np.sum(loss) // print(loss) // -1.1 示例 3：// 加权负对数似然损失，mean 归约 N, C, d1 = 2, 3, 2 input = [[[1.0, 2.0], [2.0, 2.0], [3.0, 2.0]], [[0.0, 1.0], [2.0, 2.0], [1.0, 2]]] target = [[2, 1], [0, 2]] weight = [0.2, 0.3, 0.1] loss = np.zeros((N, d1)) weight_total = 0 for n in range(N): for d_1 in range(d1): c = target[n][d_1] loss[n][d_1] = -input[n][c][d_1] * weight[c] weight_total = weight_total + weight[c] loss = np.sum(loss) / weight_total // print(loss) // -1.57
属性¶
ignore_index - INT :
指定一个被忽略的目标值，并且不会对输入梯度产生贡献。这是一个可选值。
reduction - STRING（默认为
'mean'）要应用于损失的归约类型：none、sum、mean（默认）。'none'：输出是每个样本的损失。'sum'：输出将被求和。'mean'：输出的总和将除以应用权重的总和。
输入¶
2 到 3 个输入。
input (异构) - T
形状为 (N, C) 或 (N, C, d1, d2, …, dk) 的输入张量。
target (异构) - Tind
形状为 (N) 或 (N, d1, d2, …, dk) 的目标张量。目标元素值应在 [0, C) 范围内。如果指定了 ignore_index，它可能具有 [0, C) 之外的值，并且目标值应在 [0, C) 范围内或具有值 ignore_index。
weight（可选，异构） - T
可选的重新缩放权重张量。如果给出，它必须是大小为 C 的张量。否则，它被视为具有全为 1 的值。
输出¶
loss (异构) - T
负对数似然损失
类型约束¶
T in (
tensor(double),tensor(float),tensor(float16))将输入、权重和输出类型约束为浮点张量。
Tind in (
tensor(int32),tensor(int64))将目标约束为整数类型