使用PyTorch解决多分类问题：构建、训练和评估深度学习模型

import numpy as np
y = np.array([1,0,0])
z = np.array([0.2,0.1,-0.1])
y_pred = np.exp(z)/np.exp(z).sum()
loss = (-y * np.log(y_pred)).sum()
print(loss)

import torch
y = torch.LongTensor([0])  # 长整型
z = torch.Tensor([[0.2, 0.1, -0.1]])
criterion = torch.nn.CrossEntropyLoss() 
loss = criterion(z, y)
print(loss)

criterion = torch.nn.CrossEntropyLoss()
Y = torch.LongTensor([2,0,1])
Y_pred1 = torch.Tensor([[0.1, 0.2, 0.9], 
                        [1.1, 0.1, 0.2], 
                        [0.2, 2.1, 0.1]]) 
Y_pred2 = torch.Tensor([[0.8, 0.2, 0.3], 
                        [0.2, 0.3, 0.5], 
                        [0.2, 0.2, 0.5]])
l1 = criterion(Y_pred1, Y)
l2 = criterion(Y_pred2, Y)
print("Batch Loss1 = ", l1.data, "\nBatch Loss2=", l2.data)

import torch
from torchvision import transforms
from torchvision import datasets
from torch.utils.data import DataLoader 
import torch.nn.functional as F 
import torch.optim as optim

batch_size = 64
# transform可以将其转化为0-1，形状的转换从28×28转换为，1×28×28
transform = transforms.Compose([
		transforms.ToTensor(),
		transforms.Normalize((0.1307, ), (0.3081, ))   # 均值mean和标准差std
])
train_dataset = datasets.MNIST(root='../dataset/mnist/', 
								train=True,
								download=True,
								transform=transform)  
train_loader = DataLoader(train_dataset,
							shuffle=True,
							batch_size=batch_size)
test_dataset = datasets.MNIST(root='../dataset/mnist/', 
							train=False,
							download=True,
							transform=transform)
test_loader = DataLoader(test_dataset,
						shuffle=False,
						batch_size=batch_size)

class Net(torch.nn.Module):
	def __init__(self):
		super(Net, self).__init__()
		self.l1 = torch.nn.Linear(784, 512) 
		self.l2 = torch.nn.Linear(512, 256) 
		self.l3 = torch.nn.Linear(256, 128) 
		self.l4 = torch.nn.Linear(128, 64) 
		self.l5 = torch.nn.Linear(64, 10)
	def forward(self, x):
		x = x.view(-1, 784)
		x = F.relu(self.l1(x)) 
		x = F.relu(self.l2(x)) 
		x = F.relu(self.l3(x)) 
		x = F.relu(self.l4(x)) 
		return self.l5(x)  # 注意最后一层不做激活
model = Net()

criterion = torch.nn.CrossEntropyLoss()
optimizer = optim.SGD(model.parameters(), lr=0.01, momentum=0.

def train(epoch):
	running_loss = 0.0
	for batch_idx, data in enumerate(train_loader, 0): 
		inputs, target = data
		optimizer.zero_grad()
		# forward + backward + update
		outputs = model(inputs)
		loss = criterion(outputs, target)
		loss.backward()
		optimizer.step()
		running_loss += loss.item()
	if batch_idx % 300 == 299:
		print('[%d, %5d] loss: %.3f' % (epoch + 1, batch_idx + 1, running_loss / 300)) 
		running_loss = 0.0

def test():
	correct = 0
	total = 0
	with torch.no_grad(): # 这里可以防止内嵌代码不会执行梯度
		for data in test_loader:
			images, labels = data
			outputs = model(images)
			_, predicted = torch.max(outputs.data, dim=1)
			total += labels.size(0)
			correct += (predicted == labels).sum().item()
	print('Accuracy on test set: %d %%' % (100 * correct / total))

if __name__ == '__main__': 
	for epoch in range(10): 
		train(epoch)
		test()

用途：两者都用于分类任务，评估模型的输出和真实标签之间的差异，以便进行模型的训练和优化。
数学基础：NLLLoss 和 CrossEntropyLoss 本质上都是交叉熵损失的不同变种，它们都以信息论的概念为基础，衡量两个概率分布之间的相似度。
输入格式：它们通常期望模型的输出是一个概率分布，表示各个类别的预测概率，以及真实的标签。

输入格式：NLLLoss 通常期望输入是对数概率（log probabilities），而 CrossEntropyLoss 通常期望输入是未经对数化的概率。在实际应用中，CrossEntropyLoss 通常与softmax操作结合使用，将原始模型输出转化为概率分布，而NLLLoss可以直接使用对数概率。
对数化：NLLLoss 要求将模型输出的概率经过对数化（取对数）以获得对数概率，然后与真实标签的离散概率分布进行比较。CrossEntropyLoss 通常在 softmax 操作之后直接使用未对数化的概率值与真实标签比较。
输出维度：NLLLoss 更通用，可以用于多种情况，包括多类别分类和序列生成等任务，因此需要更多的灵活性。CrossEntropyLoss 通常用于多类别分类任务。