当我们在使用Python进行数值计算时，有时会遇到类似于ValueError: cannot convert float NaN to integer的错误。这个错误通常是由于我们试图将一个NaN（Not a Number）转换为整数类型引起的。在本篇文章中，我们将讨论这个错误的原因以及如何解决它。
Python的元组与列表类似，不同之处在于元组的元素不能修改。元组使用小括号，列表使用方括号。
当你在使用机器学习或数据分析的过程中，碰到了类似于ValueError: y should be a 1d array, got an array of shape (110000, 3) instead.这样的错误信息时，一般是由于目标变量y的格式不正确引起的。在这篇文章中，我们将介绍这个错误的原因，并提供解决方法。
关于赋值、打包和解包这 3个概念，我觉得有必要做一个分享，因为很多朋友确实不清楚。
变量是用来存储值的所在处，变量具有名字以及数据类型两种属性。数据类型决定了内容中不同类型的值的存储结构。变量名用来调用变量。
在本文中，我们将使用Python的Pandas库逐步完成许多不同的数据清理任务。具体而言，我们将重点关注可能是最大的数据清理任务，即 缺少值。
原文:https://realpython.com/python-traceback/
2、解包时，如果解包出来的元素数目与变量数目不匹配，就会引发ValueError异常。
在使用Python进行数据分析和处理时，我们经常会遇到各种错误和异常。其中一个常见的错误是ValueError: Shape of passed values is (33, 1), indices imply (33, 2)。这个错误通常出现在我们尝试将一个形状为(33, 1)的数据传递给一个期望形状为(33, 2)的对象时。 虽然这个错误信息看起来可能比较晦涩，但它实际上提供了一些关键的线索来解决问题。在解决这个错误之前，我们需要理解数据的形状以及数据对象的期望形状之间的差异。
在进行机器学习任务时，我们经常会使用命令行参数来配置训练过程中的一些参数。然而，有时候我们可能会遇到异常错误信息，比如 absl.flags._exceptions.IllegalFlagValueError: flag --train_size=inf: Expect argument to be a str 错误。这种错误通常意味着我们没有正确地设置参数值，导致期望字符串参数的地方传递了无效值。接下来，我们将探讨如何解决这个错误。
元组（Tuple）是 Python 中另一个重要的基本数据类型，与列表相似，但是元组中的元素是不可变的，也就是说，一旦元组被创建，就不能再改变其中的元素。因此，元组的主要作用是用来保存一些不希望被修改的数据。
ILSVRC2012数据集 下载ILSVRC2012数据集。需要先注册账号并登陆。也可以直接用ImageNet数据集代替。 下载好的ILSVRC2012数据集是3个.tar后缀的打包文件，需要解包。
当我在使用深度学习进行图像语义分割并想使用PyTorch在DeepLabv3[1]上运行一些实验时，我找不到任何在线教程。并且torchvision不仅没有提供分割数据集，而且也没有关于DeepLabv3类内部结构的详细解释。然而，我是通过自己的研究进行了现有模型的迁移学习，我想分享这个过程，这样可能会对你们有帮助。
内置据结构大总结 今天不讲解新的内容，主要回顾一下以往讲过的内置数据结构，来个大总结。 五种线性结构 列表 元组 字符串 bytes bytearray 两种非线性结构 字典 集合 列表、元组、字符
Jason Brownlee 2017年3月17日 我们用于对新数据进行预测的机器学习模型称为最终模型。 在应用机器学习时，如何训练出一个最终模型这可能是大家的一个疑惑。 初学者通常会问以下问题：
这是因为xgboost在设置特征名称时，要求特征名称不能包含方括号"[]"或小于号"<"这两个符号。这种限制是为了确保特征名称的一致性和正确性。 为了解决这个错误，我们可以采取以下步骤：
0 To Begin//：向下取整除法**：乘方在交互模式下，上一次打印出来的表达式被赋值给变量 _如果不希望前置了 \ 的字符转义成特殊字符，可以使用 原始字符串 方式，在引号前添加 r 即可python可以多重赋值，如：a,b=b,a+b1 数据类型与结构1.1 数字1.2 序列-字符串 字符串可以用 + 进行连接（粘到一起），也可以用 * 进行重复 相邻的两个或多个 字符串字面值 （引号引起来的字符）将会自动连接到一起 连接变量和字面值，需要使用+号，不能省略 字符串与列表是可以被 索引 （下标访问
毋庸置疑的是，数据在机器学习中起着至关重要的作用。每个机器学习模型实例都是使用静态数据集的形式进行训练和评估，这些数据集的特性从根本上影响了模型的行为: 如果一个模型的部署环境与它的训练或评估数据集不匹配，或者这些数据集存在不必要的误差和偏见，那么它就不可能有良好的表现。当机器学习模型应用于高风险领域时，如招聘和金融等领域时，这种不匹配会产生特别严重的后果。即使在其他领域，不匹配也可能导致收益的损失。
之前的文章 TensorFlow的安装与初步了解，从TensorFlow的安装到基本的模块单元进行了初步的讲解。今天这篇文章我们使用TensorFlow针对于手写体识别数据集MNIST搭建一个softmax的多分类模型。 本文的程序主要分为两大模块，一个是对MNIST数据集的下载、解压、重构以及数据集的构建；另一个是构建softmax图及训练图。本程序主要是想去理解包含在这些代码里面的设计思想：TensorFlow工作流程和机器学习的基本概念。本文所使用的数据集和Python源代码都已经上传到我的GitHu
大模型的成功很大程度上要归因于 Scaling Law 的存在，这一定律量化了模型性能与训练数据规模、模型架构等设计要素之间的关系，为模型开发、资源分配和选择合适的训练数据提供了宝贵的指导。
在没有最基本的、必要的、未经处理数据的情况下，我们应该如何为机器学习的概念建立原型并加以验证呢？在资源匮乏的情况下，我们应如何有效地获取并用数据创造价值？
选自Medium 作者：Slav Ivanov 机器之心编译 参与：黄小天、Smith 近日，Slav Ivanov 在 Medium 上发表了一篇题为《37 Reasons why your Neural Network is not working》的文章，从四个方面（数据集、数据归一化／增强、实现、训练），对自己长久以来的神经网络调试经验做了 37 条总结，并穿插了不少出色的个人想法和思考，希望能帮助你跨过神经网络训练中的 37 个大坑。机器之心对该文进行了编译，原文链接请见文末。 神经网络已经持续训
“ 人工智能（AI）已无处不在，AI正在为各行各业赋能，并以前所未有的速度全方位地改变着我们的生活。然而，由于AI是一种新的编程范式，无论在学术界还是工业界，对于AI测试的研究和实践尚处于起步阶段。”
数据库DataBase + 数据集DataSet + 采样器Sampler = 加载器Loader
至今，很多大佬对“超参数优化”算法进行了大量研究，这些算法在进行少量配置后会自动搜索最佳超参数集。这些算法可以通过各种 Python 包实现。例如hyperopt就是其中一个广泛使用的超参数优化框架包，它允许数据科学家通过定义目标函数和声明搜索空间来利用几种强大的算法进行超参数优化。
调试Python程序时，经常会报出一些异常，异常的原因一方面可能是写程序时由于疏忽或者考虑不全造成了错误，这时就需要根据异常Traceback到出错点，进行分析改正；另一方面，有些异常是不可避免的，但我们可以对异常进行捕获处理，防止程序终止。
如果你从事数据科学研究有一段时间了，那么pandas, scikit-learn seaborn和matplotlib这些库你都应该非常的熟悉。
在 Python 中，数据属性和方法统称为属性。方法是可调用的属性。动态属性呈现与数据属性相同的接口——即，obj.attr——但是根据需要计算。这遵循 Bertrand Meyer 的统一访问原则：
Google-research开源的BERT代码中，微调BERT进行文本分类的demo代码是基于TPUEstimator的单卡实现，即使机器上有多块GPU，也无法并行训练，不满足大规模训练的要求。本文分析开源demo代码无法多卡训练的原因，并给出修改代码，支持多卡训练的方案。
本地化 Bug 并修复程序是软件开发过程中的重要任务。在本篇论文中，来自微软 Cloud+AI 部门的研究者介绍了 DeepDebug，一种使用大型预训练模型 transformer 进行自动 debug 的方法。
3.1、线性回归 线性回归是显式解，深度学习中绝大多数遇到的都是隐式解。 3.1.1、PyTorch 从零实现线性回归 %matplotlib inline import random impo
Andrej Kapathy 是计算机视觉和深度学习领域的专家之一，毕业于斯坦福人工智能实验室，博士师从李飞飞教授，在谷歌大脑、DeepMind 实过习，与吴恩达一起共事，业界几大深度学习实验室都待过。
请记住，在本章中讨论的大多数技术都是机器学习和深度学习通用的，一部分用于解决过拟合问题的技术（如dropout）除外。
丰色 发自 凹非寺 量子位 报道 | 公众号 QbitAI 还在学师阶段的研究生以及从业新手们，想在机器学习研究中少走弯路吗？ 或许下面这篇论文可以帮到你： 《如何避免机器学习研究中的陷阱？一本给学术研究人员的指南》 作者是英国赫瑞-瓦特大学数学与计算机科学学院的副教授，同时也是爱丁堡机器人中心的成员，博士毕业已经十多年，这篇17页的论文主要介绍了机器学习学术研究中的一些常犯错误，以及如何避免。 指南共涵盖了机器学习过程的五大方面：建模前如何准备，如何建出可靠的模型，如何稳健地评估模型，如何公平地比较模
Python 的一个优点是它在处理和操作字符串数据方面相对容易。Pandas 构建于此之上，并提供了一套全面的向量化字符串操作，它们成为处理（阅读“清理”部分）实际数据时所需的重要部分。在本节中，我们将介绍一些 Pandas 字符串操作，然后使用它们来部分清理从互联网收集的，非常混乱的食谱数据集。
机器学习是技术爱好者中高度关注的领域。作为人工智能（AI）的一个分支，它基本上是一种算法或模型，可以通过“学习”来改善自身，因此变得越来越精通执行其任务。机器学习的应用正在迅速发展，已迅速成为医学，电子商务，银行等不同领域不可或缺的一部分。今天，我们将把机器学习分解为一个过程，并了解从开始到实现的所有步骤。它的实际应用。
本章节将详细介绍一些您已经了解的内容，并添加了一些新内容。 5.1. 列表的更多特性 列表数据类型还有很多的方法。这里是列表对象方法的清单：
来源：Deephub Imba本文约8500字，建议阅读10分钟本文介绍了如何使用 scikit-learn中的网格搜索功能来调整 PyTorch 深度学习模型的超参数。 apply函数是我们经常用到的一个Pandas操作。虽然这在较小的数据集上不是问题，但在处理大量数据时，由此引起的性能问题会变得更加明显。虽然apply的灵活性使其成为一个简单的选择，但本文介绍了其他Pandas函数作为潜在的替代方案。 在这篇文章中，我们将通过一些示例讨论apply、agg、map和transform的预期用途。 我们一
张量处理单元（TPU）是能够大大加快深度学习模型训练速度的硬件加速器。在斯坦福大学进行的独立测试中，在 TPU 上训练的 ResNet-50 模型能够在 ImageNet 数据集上以最快的速度（30 分钟）达到预期的准确率。
用于超参数调优的验证集 k-NN分类器需要设定k值，那么选择哪个k值最合适的呢？我们可以选择不同的距离函数，比如L1范数和L2范数等，那么选哪个好？还有不少选择我们甚至连考虑都没有考虑到（比如：点积）。所有这些选择，被称为超参数（hyperparameter）。在基于数据进行学习的机器学习算法设计中，超参数是很常见的。一般说来，这些超参数具体怎么设置或取值并不是显而易见的。 你可能会建议尝试不同的值，看哪个值表现最好就选哪个。好主意！我们就是这么做的，但这样做的时候要非常细心。特别注意：决不能使用测试集来进
以下技巧旨在让您更轻松。这不是必须做的清单，但应该被视为一种参考。您了解手头的任务，因此可以从以下技术中进行最佳选择。它们涵盖了广泛的领域：从数据增强到选择超参数；涉及到很多话题。使用此选择作为未来研究的起点。
机器学习是当前比较热门的领域，作为人工智能（AI）的一个分支，它基本上是一种算法或模型，可以通过“学习”来改善自身，因此变得越来越精通执行其任务。机器学习的应用正在迅速发展，已迅速成为医学，电子商务，银行等不同领域不可或缺的一部分。今天，我们将把机器学习分解为一个过程，并了解从开始到实现的所有步骤，以及其实际应用。
在使用深度学习框架进行模型训练或推理时，我们经常会遇到处理多维数据的情况。然而，当我们尝试使用维度为3的张量进行操作时，有时会遇到"too many indices for tensor of dimension 3"（维度为3的张量有太多的索引）的错误信息。本文将介绍这个错误的原因以及如何解决它。
前面文章中，有介绍如何训练生成定制化需求的 CoreML 模型，以图像分类为例做了演示，文章地址：
对于没有把数学学会的同学来说，如果希望从算法层了解以太坊的工作量证明是非常困难的。一本黄皮书会难倒一大批吃瓜群众。因此，本文将试图使用图文和尽量简单的数学来解释以太坊挖矿工作量证明，包括以太坊是如何对抗ASIC1、如何动态调整挖矿难度、如何校验挖矿正确性的。
特别注意 序列类似Java中的集合的概念, 但是, 序列中的集合和Java中的集合却不一样 (约等于Java中的list 集合).
Matt MacGillivray 拍摄，保留部分权利 翻译 | AI科技大本营（rgznai100） 长短记忆型递归神经网络拥有学习长观察值序列的潜力。它似乎是实现时间序列预测的完美方法，事实上，它可能就是。在此教程中，你将学习如何构建解决单步单变量时间序列预测问题的LSTM预测模型。 在学习完此教程后，您将学会： 如何为预测问题制定性能基准。 如何为单步时间序列预测问题设计性能强劲的测试工具。 如何准备数据以及创建并评测用于预测时间序列的LSTM 递归神经网络。 让我们开始吧。 Python中使用
在过去的几章中，我们已经构建了许多对我们的项目至关重要的系统。我们开始加载数据，构建和改进结节候选的分类器，训练分割模型以找到这些候选，处理训练和评估这些模型所需的支持基础设施，并开始将我们的训练结果保存到磁盘。现在是时候将我们拥有的组件统一起来，以便实现我们项目的完整目标：是时候自动检测癌症了。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
