pytorch入坑之Tensor
一、张量的定义
张量 标量：0维张量 向量：1维张量 矩阵：2维张量 张量：一个多维数组，标量、向量、矩阵的高维扩展 Tensor
属性 | 意义 |
|---|---|
data | 张量数据值 |
dtype | 张量数据类型 |
shape | 张量形状 |
device | 张量所在设备 |
requires_grad | 是否需要梯度 |
grad | 求导梯度值 |
grad_fn | 求导过来的操作 |
is_leaf | 是否是叶子结点 |
二、张量的创建
直接创建
方法 | 说明 |
|---|---|
torch.tesor() | 从data创建tensor |
torch.from_numpy | 从numpy创建tensor |
演示
import torch
import numpy as np
data = np.arange(1,10)
tensor1 = torch.tensor(data)
tensor2 = torch.from_numpy(data)#与data共用一个地址
print("data:",data)
print("tensor1:",tensor1)
print("tensor2:",tensor2)
for num in tensor2:
num+=10
print("after data:",data)结果
data: [1 2 3 4 5 6 7 8 9]
tensor1: tensor([1, 2, 3, 4, 5, 6, 7, 8, 9], dtype=torch.int32)
tensor2: tensor([1, 2, 3, 4, 5, 6, 7, 8, 9], dtype=torch.int32)
after data: [11 12 13 14 15 16 17 18 19]依据数值创建
方法 | 说明 |
|---|---|
torch.zeros() | 创建全0张量 |
torch.zeros_like() | 依input创建全0张量 |
torch.full() | 创建规定的统一值张量 |
torch.full_like() | 依input创建统一张量 |
torch.arange() | 创建等差的1维张量 |
torch.linspace() | 创建均分的1维张量 |
torch.eye() | 创建单位对角矩阵 |
演示
import torch
import numpy as np
tensor = torch.tensor([1])
tensor1 = torch.tensor([[1,2],[3,4]])
#out会改变原有张量的地址
zeros = torch.zeros((3,3),out = tensor)
zerosLike = torch.zeros_like(tensor1)
#等差值为
arange = torch.arange(1,10,2)
#分成5分
linspace = torch.linspace(0,10,5)
print("tensor:",tensor)
print("zeros:",zeros)
print("zerosId:",id(zeros))
print("tensorId:",id(tensor))
print("zerosLike",zerosLike)
print("arange:",arange)
print("linspace: ",linspace)结果
tensor: tensor([[0, 0, 0],
[0, 0, 0],
[0, 0, 0]])
zeros: tensor([[0, 0, 0],
[0, 0, 0],
[0, 0, 0]])
zerosId: 35145912
tensorId: 35145912
zerosLike tensor([[0, 0],
[0, 0]])
arange tensor([1, 3, 5, 7, 9])
linspace tensor([ 0.0000, 2.5000, 5.0000, 7.5000, 10.0000])依据概率分布创建
方法 | 用法 |
|---|---|
torch.normal() | 按照正态分布创建张量 |
torch.randn() | 按照标准正态分布 |
torch.rand | [0,1)均匀分布 |
torch.randint() | 生成整数均匀分布 |
torch.randperm() | [0,1)随机排列 |
二、张量的操作
拼接与切分
方法 | 用法 |
|---|---|
torch.cat() | 在原有维度拼接 |
torch.stack() | 创建新的维度拼接 |
torch.chunk() | 按维度平均切分 |
torch.split() | 指定长度切分 |
演示
import torch
import numpy as np
tensor1 = torch.tensor([[1,1],[3,3],[2,2]])
cat0 = torch.cat([tensor1,tensor1],dim=0)
cat1 = torch.cat([tensor1,tensor1],dim=1)
print("cat0:",cat0)
print("cat1:",cat1)
#创建新的维度拼接
stack0 = torch.stack([tensor1,tensor1],dim = 0)
print("stack0:",stack0,stack0.shape)
tensor2 = torch.ones((3,8))
chunk0 = torch.chunk(tensor2,4,dim=1)
list_chunk0 = [n.shape for n in chunk0]
print("list_chunk0:",list_chunk0)
#取整不够则向上取
chunk1 = torch.chunk(tensor2,3,dim=1)
list_chunk1 = [n.shape for n in chunk1]
print("list_chunk1:",list_chunk1)
split = torch.split(tensor2,[1,2,3,2],dim=1)
list_split = [n.shape for n in split]
print("list_split:",list_split)结果
cat0: tensor([[1, 1],
[3, 3],
[2, 2],
[1, 1],
[3, 3],
[2, 2]])
cat1: tensor([[1, 1, 1, 1],
[3, 3, 3, 3],
[2, 2, 2, 2]])
stack0: tensor([[[1, 1],
[3, 3],
[2, 2]],
[[1, 1],
[3, 3],
[2, 2]]]) torch.Size([2, 3, 2])
list_chunk0: [torch.Size([3, 2]), torch.Size([3, 2]), torch.Size([3, 2]), torch.Size([3, 2])]
list_chunk1: [torch.Size([3, 3]), torch.Size([3, 3]), torch.Size([3, 2])]
list_split: [torch.Size([3, 1]), torch.Size([3, 2]), torch.Size([3, 3]), torch.Size([3, 2])]张量索引
方法 | 说明 |
|---|---|
torch.index_select() | 在维度dim上，按inde索引 |
torch.masked_select() | 按照mask中true进行索引 |
张量变换
方法 | 说明 |
|---|---|
torch.reshape() | 变换张量形状 |
torch.transpose() | 交换两个维度 |
torch.t() | 二维张量互换 |
torch.squeeze() | 压缩长度为1的维度 |
torch.unsqueeze() | 扩展长度为1的维度 |
三、自动求导
torch.autograd.backward() 演示
import torch
w = torch.tensor([1.],requires_grad=True)
x = torch.tensor([2.],requires_grad=True)
a = torch.add(w,x)
b = torch.add(w,1)
#y = (w+x)*(w+1)
y = torch.mul(a,b)
y.backward()
print(w.grad)结果
tensor([5.])torch.autograd.grad 演示
import torch
x = torch.tensor([3.],requires_grad=True)
y = torch.pow(x,2)
grad_1 = torch.autograd.grad(y,x,create_graph=True)
print(grad_1)
grad_2 = torch.autograd.grad(grad_1[0],x)
print(grad_2)结果
(tensor([6.], grad_fn=<MulBackward0>),)
(tensor([2.]),) 腾讯云开发者
