torch.masked_select(input,mask,out=None) 函数返回一个根据布尔掩码 (boolean mask) 索引输入张量的 1D 张量，其中布尔掩码和输入张量就是 torch.masked_select(input, mask, out = None) 函数的两个关键参数，函数的参数有：
针对于特定问题（例如自然语言处理，即 NLP，或图像识别）的深度学习模型开发、训练和调参，需要耗费时间与资源。这通常还包括使用功能强大的处理器来训练大型数据集上的模型。然而，一旦模型成功运作，彼时使用它来对新数据生成预测就会更简单，计算成本也会更低。当下唯一的困难是将模型从其开发环境转移到应用程序产品中。
前面讲解了使用纯numpy实现数值微分和误差反向传播法的手写数字识别，这两种网络都是使用全连接层的结构。全连接层存在什么问题呢？那就是数据的形状被“忽视”了。比如，输入数据是图像时，图像通常是高、长、通道方向上的3维形状。但是，向全连接层输入时，需要将3维数据拉平为1维数据。实际上，前面提到的使用了MNIST数据集的例子中，输入图像就是1通道、高28像素、长28像素的（1, 28, 28）形状，但却被排成1列，以784个数据的形式输入到最开始的Affine层。 图像是3维形状，这个形状中应该含有重要的空间信息。比如空间上邻近的像素为相似的值、RBG的各个通道之间分别有密切的关联性、相距较远的像素之间没有什么关联等，3维形状中可能隐藏有值得提取的本质模式。但是，因为全连接层会忽视形状，将全部的输入数据作为相同的神经元（同一维度的神经元）处理，所以无法利用与形状相关的信息。而卷积层可以保持形状不变。当输入数据是图像时，卷积层会以3维数据的形式接收输入数据，并同样以3维数据的形式输出至下一层。因此，在CNN中，可以（有可能）正确理解图像等具有形状的数据。 在全连接神经网络中，除了权重参数，还存在偏置。CNN中，滤波器的参数就对应之前的权重，并且，CNN中也存在偏置。
基于keras的双层LSTM网络和双向LSTM网络中，都会用到 LSTM层，主要参数如下：
大家可能遇到这样子的困扰：比如说运行自己编写的 PyTorch 代码的时候，PyTorch 提示你说数据类型不匹配，需要一个 double 的 tensor 但是你给的却是 float；再或者就是需要一个 CUDA tensor, 你给的却是个 CPU tensor。比如下面这种：
GitHub 项目地址： https://github.com/zasdfgbnm/TorchSnooper
seq2seq 模型是一种基于【 Encoder-Decoder】（编码器-解码器）框架的神经网络模型，广泛应用于自然语言翻译、人机对话等领域。目前，【seq2seq+attention】（注意力机制）已被学者拓展到各个领域。seq2seq于2014年被提出，注意力机制于2015年被提出，两者于2017年进入疯狂融合和拓展阶段。
与我们上篇博文[Keras深度学习浅尝]实战一结构相同，修改的地方有，定义网络与模型训练两部分，可以对比着来看。通过使用RNN结构，预测准确率略有提升，可以通过修改超参数以获得更优结果。 代码部分
我们将训练一个手写数字识别分类器，其在著名的MNIST数据集上将具有超过99％的准确率。
本文介绍了如何利用TensorFlow搭建一个简单的CNN模型来识别MNIST数据集中的手写数字。首先，介绍了CNN模型的基本原理和TensorFlow中的Keras API。然后，使用MNIST数据集训练了一个具有卷积层和全连接层的CNN模型。最后，通过在测试集上评估模型的性能，得到了97.3%的准确率。
本文基于阿里推荐 DIN 和 DIEN 代码，梳理了下深度学习一些概念，以及TensorFlow中的相关实现。
结果分析 我笔记本配置为CPU i5 8250u GPU MX150 2G内存 使用CPU训练时，每100步，58秒左右 使用GPU训练时，每100步，3.3秒左右 提升了将近20倍， 经过测试，使用GPU运算RNN速率大概是CPU的15~20倍，推荐大家使用GPU运算，就算GPU配置差些也可以显著提升效率。
NumPy广播的优点是在复制值得过程中没有占用额外得空间，但是在我们考虑广播时，它是一种有用的思维模型。 例如如下对三维数组数值扩展
欢迎回到这个关于神经网络编程的系列。在这篇文章中，我们将通过学习 element-wise 的操作来扩展我们的知识，而不仅仅是 reshape 操作。
博主的研究方向是目标检测，深度学习框架使用Pytorch，在日常的使用过程中经常会碰到一些问题，因此整理一下pytorch的一些常用接口和使用技巧。
TorchFusion 基于 PyTorch 并且完全兼容纯 PyTorch 和其他 PyTorch 软件包，它供了一个全面的可扩展训练框架，可以轻松用开发者的 PyTorch 模型进行训练，评估和运行推理。
import torch import torch.nn as nn import torch.nn.functional as F import torch.optim as optim import torchvision from torchvision import datasets, transforms import matplotlib.pyplot as plt import numpy as np class TPSNet(nn.Module): def __init__(self): super(TPSNet, self).__init__() self.conv1 = nn.Conv2d(1, 10, kernel_size=5) self.conv2 = nn.Conv2d(10, 20, kernel_size=5) self.conv2_drop = nn.Dropout2d() self.fc1 = nn.Linear(320, 50) self.fc2 = nn.Linear(50, 10) # Spatial transformer localization-network self.localization = nn.Sequential( nn.Conv2d(in_channels=1, out_channels=8, kernel_size=7), nn.MaxPool2d(kernel_size=2, stride=2), nn.ReLU(True), nn.Conv2d(in_channels=8, out_channels=10, kernel_size=5), nn.MaxPool2d(kernel_size=2, stride=2), nn.ReLU(True) ) # Regressor for the 3 * 2 affine matrix self.fc_loc = nn.Sequential( nn.Linear(10 * 3 * 3, 32), nn.ReLU(True), nn.Linear(32, 3 * 2) ) # Initialize the weights/bias with identity transformation self.fc_loc[2].weight.data.fill_(0) self.fc_loc[2].bias.data = torch.FloatTensor([1, 0, 0, 0, 1, 0]) # Spatial transformer network forward function def stn(self, x): #x是[b,1,28,28] xs = self.localization(x) #xs是[b,10,3,3] xs = xs.view(-1, 10 * 3 * 3) #xs是[b,90] theta = self.fc_loc(xs) #theta是[b,6] theta = theta.view(-1, 2, 3) grid = F.affine_grid(theta, x.size()) x = F.grid_sample(x, grid) #x是[b,1,28,28] return x def forward(self, x): # transform the input #x是[b,1,28,28] x = self.stn(x) #x是[b,1,28,28] # Perform the usual forward pass x = F.relu(F.max_pool2d(self.conv1(x), 2)) x = F.relu(F.max_pool2d(self.conv2_drop(self.conv2(x)), 2)) x = x.view(-1, 320) x = F.relu(self.fc1(x)) x = F.dropout(x, training=self.training) x = self.fc2(x) return F.log_softmax(x, dim=1) def train(epoch): model.train() for batch_idx, (data, target) in enumerate(train_loader): if use_cuda: data, target = data.cuda(), target.cuda() optimizer.zero_grad() output = model(data) loss = F.nll_loss(output, target) #和TPSNet中的log_softmax搭配，就是CE loss loss.backward() optimizer.step() if batch_idx
斯蒂文查了查 2019 年 1 月 3 日平安银行 (000001.XSHE) 的收盘价，发现是 9.28，他默默将这个单数字存到 X0 里。
NumPy是Python中最受欢迎的科学计算库之一，它提供了高性能的多维数组对象和丰富的数组操作功能。其中，广播机制是NumPy的重要特性之一，它允许不同形状的数组进行算术运算，提供了灵活而高效的数组操作能力。在本文中，我们将深入探讨NumPy的广播机制，以便更好地理解其工作原理和应用。
正态分布（Normal Distribution）和均匀分布（Uniform Distribution）是最常见的分布之一，创建采样自这 2 个分布的张量非常有用，「比如在卷积神经网络中，卷积核张量
翻译过来意思就是：关于图片的维度顺序有两种类型，分别是“th”和”tf“，它们的差别如下：
拥有思维导图或流程将引导我们朝着探索和寻找实现目标的正确道路的方向发展。如果要给我一张图片，我们如何找到车牌并提取文字？
理解深度学习需要熟悉一些简单的数学概念：Tensors(张量)、Tensor operations 张量操作、differentiation微分、gradient descent 梯度下降等等。
加、减、乘、除是最基本的数学运算，分别通过 torch.add、torch.sub、torch.mul 和 torch.div 函数实现，Pytorch 已经重载了 +、-、* 和 / 运算符。
当我们在使用深度学习框架（如PyTorch或TensorFlow）时，经常会遇到各种错误信息。其中一个常见的错误是"invalid argument 0: Sizes of tensors must match except in dimension 0"。这个错误表示张量的尺寸不匹配，除了第0维之外。 出现这个错误的原因通常是因为我们在进行张量操作时，尺寸不一致导致的。下面我们将介绍一些解决这个问题的方法。
链接：https://blog.csdn.net/Walk_OnTheRoad/article/details/108048101
关于卷积神经网络笔记，并非拖延症犯了，一方面是出差几天把学习规律打乱了，一方面是知识到了一定程度需要总结，哪怕是书本上的也要确保理解，同时也翻阅了另一本深度学习入门的书籍进行印证。
1、tf.train.queue_runner.add_queue_runner函数
【深度学习 | 核心概念】那些深度学习路上必经的核心概念，确定不来看看？ （一） 作者： 计算机魔术师 版本： 1.0 （ 2023.8.27 ）
实际上，前面提到的使用 了MNIST数据集的例子中，输入图像就是1通道、高28像素、长28像素 的（1, 28, 28）形状，但却被排成1列，以784个数据的形式输入到最开始的Affine层。
标题：Persistent Homology based Graph Convolution Network forFine-grained 3D Shape Segmentation
本章开始了一段旅程，我们将深入研究我们在前几章中使用的模型的内部。我们将涵盖许多我们以前见过的相同内容，但这一次我们将更加密切地关注实现细节，而不那么密切地关注事物为什么是这样的实际问题。
相关博文： [Hands On ML] 3. 分类（MNIST手写数字预测） [Kaggle] Digit Recognizer 手写数字识别 [Kaggle] Digit Recognizer 手写数字识别（简单神经网络） 04.卷积神经网络 W1.卷积神经网络
疫情在家的这段时间，想系统的学习一遍 Pytorch 基础知识，因为我发现虽然直接 Pytorch 实战上手比较快，但是关于一些内部的原理知识其实并不是太懂，这样学习起来感觉很不踏实， 对 Pytorch 的使用依然是模模糊糊， 跟着人家的代码用 Pytorch 玩神经网络还行，也能读懂，但自己亲手做的时候，直接无从下手，啥也想不起来， 我觉得我这种情况就不是对于某个程序练得不熟了，而是对 Pytorch 本身在自己的脑海根本没有形成一个概念框架，不知道它内部运行原理和逻辑，所以自己写的时候没法形成一个代码逻辑，就无从下手。这种情况即使背过人家这个程序，那也只是某个程序而已，不能说会 Pytorch， 并且这种背程序的思想本身就很可怕， 所以我还是习惯学习知识先有框架（至少先知道有啥东西）然后再通过实战（各个东西具体咋用）来填充这个框架。而这个系列的目的就是在脑海中先建一个 Pytorch 的基本框架出来， 学习知识，知其然，知其所以然才更有意思；)。
在进行深度学习任务和数据处理时，我们经常会涉及到使用张量（tensors）作为索引操作。在使用张量作为索引时，我们常常会遇到“RuntimeError: tensors used as indices must be long or byte tensors”的错误。 这篇博客文章将向您解释这个错误的原因，并为您提供几种解决方法。
广播(broadcasting)是通用函数另一个非常有用的功能，它能够操纵不同大小和形状的数组，这就是我们所说的广播。
这里第一个3代表3个通道，input channel数量为之前的1，3 3 代表了所取的kernel的size。
我们在上一节中看到，NumPy 的通用函数如何用于向量化操作，从而消除缓慢的 Python 循环。向量化操作的另一种方法是使用 NumPy 的广播功能。广播只是一组规则，用于在不同大小的数组上应用二元ufunc（例如，加法，减法，乘法等）。
Python 的 Keras 库来学习手写数字分类，将手写数字的灰度图像(28 像素 ×28 像素)划分到 10 个类别 中(0~9) 神经网络的核心组件是层(layer),它是一种数据处理模块，它从输入数据中提取表示，紧接着的一个例子中，将含有两个Dense 层,它们是密集连接(也叫全连接)的神经层，最后是一个10路的softmax层，它将返回一个由 10 个概率值(总和为 1)组成的数组。每个概率值表示当前数字图像属于 10 个数字类别中某一个的概率 损失函数(loss function):网络如何衡量在训练数据上的性能,即网络如何朝着正确的方向前进 优化器(optimizer):基于训练数据和损失函数来更新网络的机制
numpy作为高性能科学计算和数据分析的基础包，它是众多数据分析、机器学习等工具的基础架构，掌握numpy的功能及其用法将有助于后续其他数据分析工具的学习。
Numpy：提供了一个在Python中做科学计算的基础库，重在数值计算，主要用于多维数组（矩阵）处理的库。用来存储和处理大型矩阵，比Python自身的嵌套列表结构要高效的多。本身是由C语言开发，是个很基础的扩展，Python其余的科学计算扩展大部分都是以此为基础。
boradcasting简而言之有两大特点：（1）功能类似于上期讲的expand，可以实现维度扩展。（2）但它不需要复制数据，因此可以极大的节省内存空间。
TensorFlow是一个面向深度学习算法的科学计算库，内部数据保存在张量Tensor对象中，所有的运算操作都是基于张量进行的
即使0在索引列表中出现2次，第0个元素只会增加一次。这是因为Python要求“a + = 1”等同于“a = a + 1”
在使用PyTorch进行深度学习任务时，我们经常会使用view()函数来改变张量的形状。然而，有时候在使用view()函数时可能会遇到如下错误：
写深度学习网络代码，最大的挑战之一，尤其对新手来说，就是把所有的张量维度正确对齐。如果以前就有 TensorSensor 这个工具，相信我的头发一定比现在更浓密茂盛！
一、创建数组二、数组操作类型1. 数组属性2. 数组索引：获取单个元素3. 切片4. 数组的变形5. 数组拼接和分裂
在 NumPy 中，广播是一种强大的机制，它允许不同形状的数组在进行操作时，自动进行形状的调整，使得它们能够完成一致的运算。广播使得对数组的操作更加灵活，避免了显式的形状匹配操作，提高了代码的简洁性。在本篇博客中，我们将深入介绍 NumPy 中的广播机制，并通过实例演示如何应用这一功能。
前面都在学一些PyTorch的基本操作，从这一节开始，真正进入到模型训练的环节了。原作者很贴心的一步步教我们实现训练步骤，并且还从一个最简单的例子出发，讲了优化方案。
除了.t()方法外，还可以使用.transpose(d1, d2)函数。在使用时需要给d1
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
