随着机器学习（ML）成为每个行业的重要组成部分，对机器学习工程师（MLE）的需求急剧增长。MLE需要将机器学习技能与软件工程专业知识相结合，为特定应用程序找到高性能的模型，并应对出现的实施挑战——从构建训练基础架构到准备部署模型。在新的机器学习团队中，遇到最常见的障碍之一是工程师习惯传统软件工程的开发过程，而开发新ML模型的过程从一开始就是非常不确定的，需要不断的尝试才能找到一个比较合适的模型。
\color{red}{泛化能力}：从训练集上学习到数据的真实模型，从而在未知的测试集上也能表现的良好的能力。
选自Technica Curiosa 作者：Nishant Shukla 机器之心编译 参与：Jane W 本文的作者 Nishant Shukla 为加州大学洛杉矶分校的机器视觉研究者，从事研究机器人机器学习技术。Nishant Shukla 一直以来兼任 Microsoft、Facebook 和 Foursquare 的开发者，以及 SpaceX 的机器学习工程师。他还是《Haskell Data Analysis Cookbook》的作者。 TensorFlow 入门级文章： 深度 | 机器学习敲门砖
本文讲述了卷积神经网络在涉及坐标建模等方面的缺陷，但是提出了CoordConv 作为解决方案。
Uber 利用卷积神经网络解决许多方面的问题，其中就包括坐标变换。从自动驾驶汽车的设计到路标的自动检测、再到地图的绘制，Uber 都需要使用卷积网络完成坐标变换。
机器之心专栏 机器之心编辑部 前几日，Meta 推出了「分割一切」AI 模型 Segment Anything，令网友直呼 CV 不存在了？！而在另一篇被 CVPR 2023 收录的论文中，Meta、UTAustin 联合提出了新的开放语言风格模型（open-vocabulary segmentation, OVSeg），它能让 Segment Anything 模型知道所要分隔的类别。 从效果上来看，OVSeg 可以与 Segment Anything 结合，完成细粒度的开放语言分割。比如下图 1 中识别
课程主页： http://web.stanford.edu/class/cs224n/
神经网络是一种受到生物神经元系统启发而设计的人工智能算法。它通过模仿人类大脑中神经元之间的连接和信号传递方式，建立起一种用于模式识别、分类和预测的模型。本文将为你介绍神经网络算法的基本原理以及如何应用。
2.6 api介绍【**】 1.梯度下降法 sklearn.linear_model.SGDRegressor(loss="squared_loss", fit_intercept=True, learning_rate ='invscaling', eta0=0.01) 参数： 1.loss -- 损失 （最小二乘） 2.learning_rate -- 学习率
循环神经网络的神经网络体系结构，它针对的不是自然语言数据，而是处理连续的时间数据，如股票市场价格。在本文结束之时，你将能够对时间序列数据中的模式进行建模，以对未来的值进行预测。 1.上下文信息 回到学校，我的一个期中考试仅由真的或假的问题组成时。假设一半的答案是“真的”，而另一半则是“假的”。我想出了大部分问题的答案，剩下的是靠随机猜测。我做了一件聪明的事情，也许你也可以尝试一下这个策略。在计数了我的“真”的答案之后，我意识到它与“假”这个答案不成比例。于是我的大部分猜测是“假”的，这样就可以平衡分配。
在机器学习中，过拟合是一个常见的问题，即模型在训练数据上表现很好，但在新数据上表现不佳。为了解决这个问题，正则化技术应运而生。
注：这是一份学习笔记，记录的是参考文献中的可扩展机器学习的一些内容，英文的PPT可见参考文献的链接。这个只是自己的学习笔记，对原来教程中的内容进行了梳理，有些图也是引用的原来的教程，若内容上有任何错误，希望与我联系，若内容有侵权，同样也希望告知，我会尽快删除。这部分本应该加上实验的部分，实验的部分在后期有时间再补上。 可扩展机器学习系列主要包括以下几个部分： 概述 - Spark分布式处理 - 线性回归(linear Regression) - 梯度下降(Gradient Descent)
本文提出了一种基于神经网络结构的矩阵分解模型。该模型综合考虑了用户对物品的显式评分和非偏好隐式反馈，然后通过两组神经网络将用户和物品的特征提取到一个低维空间；并通过设计的新的损失函数进行反向学习。本文设计的新损失函数将显式反馈加入二元交叉熵损失函数中，称为归一化交叉熵损失。实验证明该模型在几个典型数据集上相对于其他经典模型表现更好。
作者：杨夕、芙蕖、李玲、陈海顺、twilight、LeoLRH、JimmyDU、艾春辉、张永泰、金金金
本项目是作者们根据个人面试和经验总结出的自然语言处理(NLP)面试准备的学习笔记与资料，该资料目前包含 自然语言处理各领域的 面试题积累。
**数据收集**：这是机器学习项目的起点，涉及从各种来源获取数据。数据的质量直接影响模型的性能，因此需要确保数据的相关性、完整性和准确性。
通过使用深度学习实现分类问题的动手演练，如何绘制问题以及如何改善其结果，来了解TensorFlow的最新版本。
从数学和统计学的角度来理解过拟合和欠拟合，我们需要考虑模型的参数数量和拟合数据的程度。
随着大型语言模型（LLM）的快速发展，LLM和教育领域的结合变得越来越切。但是，目前还没有一个专门为中国K-12教育领域设计的LLM评估基准。为了准确评估各种LLM在中国K-12教育领域的表现，我们推出了E-EVAL。E-EVAL包括4351道选择题，涵盖了小学、初中和高中阶段，如图 1 所示，涵盖了23个学科，包括小学语文、数学、英语、科学、思想品德，以及初中和高中阶段的各种学科。我们进一步将问题分为两类：文科和理科，理科包括数学、物理、化学等，文科包括语文、英语、历史等。通常来说，理科的难度要高于文科。
摘要：本文主要解决在样本数量较少、样本不均衡或者需要提高模型的鲁棒性的场景下通过样本增强技术提升模型的泛化能力的问题。主要讲了近几年常用的样本增强技术，其中包括回译技术、词汇替换技术、随机噪声引入技术和生成式的方法等等。通过这些技术我们可以轻松的实现增加训练样本的目的。希望对样本增强技术感兴趣的小伙伴有所帮助。
本文作为数据科学博客马拉松（https://analyticsvidhya.com/blogathon）的一部分发表。
作者会在本文中结合自己在视频推荐方面的工作经验，着重从工程实现方面，讲述如何对特征进行评估的问题。下文中，我们首先会厘清“特征评估”的概念，然后讲述特征评估的标准，最后是问题的反向排查。
在这篇 NeurIPS 2022 论文中，来自新加坡国立、字节跳动和华为的学者表明：这个问题的本质在于实际应用中的测试集并不是单一的均匀分布的。因此，他们设计了 SADE 算法，即使是在一个固定的长尾分布数据集上训练的模型，也能够自适应地处理多个不同类别分布的测试场景。
大数据巨头Databricks与哥伦比亚大学最新研究发现，在数学和编程任务上，LoRA干不过全量微调。
随着数据、计算能力和机器学习技术的进步，人工智能（AI）在军事领域也广泛应用。其核心计算和决策能力显著提高了作战系统的自控、自调和自动执行能力，被应用于军事的对象检测、军事物流和机器人技术等方面。
昨天，一篇系统性地研究了GPT-4为什么会「降智」的论文，引发了AI圈的广泛讨论。
全球大约有20%的油井使用抽油杆泵将原油提升到地面。因此，对这些泵进行适当的预测性维护是油田作业中的一个重要问题。我们希望在故障发生之前能够知道泵出了什么问题。抽油杆泵井下部分的维护问题可以通过位移和负荷的曲线图进行可靠的诊断，这个图被称为“动力图”。本章说明了使用机器学习技术可以完全自动化这种分析，使其能够在故障之前自学习识别各种损坏类型。我们使用了从巴林油田的299个抽油杆泵中提取的35292张样本卡片的数据集。我们可以将11种不同的损坏类别与正常类别区分开，并且准确率达到99.9%。这种高准确性使其能够实时自动诊断抽油杆泵，并使维护人员将重点放在修理泵上，而不是监测它们，从而提高了整体的产油量并减少了环境影响。
“ 通过介绍微信打造的大型中文预训练语言模型WeLM的设计思路、数据集、模型结构、训练方式、多样化的评估结果等方面,全面解析这一模型的技术原理和应用价值。”
批处理规范化背后的主要思想是，在我们的案例中，我们通过使用几种技术（sklearn.preprocessing.StandardScaler）来规范化输入层，从而提高了模型性能，因此，如果输入层受益于规范化，为什么不规范化隐藏层，这将进一步改善并加快学习速度。
梯度下降算法主要用户优化单个参数的取值，而反向传播算法给出了一个高效的方式在所有参数上使用梯度下降算法，从而使神经网络模型在训练数据上的损失函数尽可能小。反向传播算法是训练神经网络的核心算法，他可以根据定义好的损失函数优化神经网络中参数的取值，从而使神经网络在训练数据集上的损失函数达到一个最小值。神经网络模型中参数的优化过程直接决定了模型的质量，是使用神经网络时非常重要的一步。
今天给大家介绍由哈佛大学和剑桥大学的研究人员联合发表在Nature Communications的一篇文章。由于对设计规则的理解有限，设计全新的生物回路组件仍然是一项具有挑战性的工作，支点开关（Toehold Switches）的设计也面临相似的问题。针对上述情况，作者提出了两种深度学习架构——STORM和NuSpeak，这二种架构使用了卷积过滤器，注意力图和电子诱变技术用于描述和优化支点。实验结果证明，即使在训练数据比较稀疏的情况下，通过迁移学习设计的支点传感器，仍然具有改进的性能。
本报告讨论了非常厉害模型优化技术 —— 知识蒸馏，并给大家过了一遍相关的TensorFlow的代码。
选自towardsdatascience 作者：Kritika Jalan 机器之心编译 参与：陈韵竹、路雪 搭建机器学习系统好几周，性能却不尽如人意？Kritika Jalan 近日在 towardsdatascience 上发表文章，总结她从吴恩达的 Coursera 课程《Structuring Machine Learning Projects》中学到的相关经验。机器之心对此进行了编译。 如何选择策略以改进算法表现 你已经花了好几个星期构建机器学习系统。然而，它的性能却不能令你满意。你想到了许多方法
BERT（Bidirectional Encoder Representations from Transformers）是Google提出的一种用于自然语言处理（NLP）的预训练模型。BERT通过双向训练Transformer，能够捕捉到文本中词语的上下文信息，是NLP领域的一个里程碑。
本文将利用机器学习的手段来对鸢尾花按照物种进行分类。本教程将利用 TensorFlow 来进行以下操作：
来源：DrugAI本文约1200字，建议阅读5分钟今天为大家介绍的是来自Günter Klambauer团队的一篇分子活性预测的论文。 在药物发现和材料科学中，活性和性质预测模型是及其重要的工具，但目前采用的模型一般需要根据新需求在目标数据上进行训练或微调。语言模型可以通过零/少样本能力处理新的任务，但其活性预测的预测质量较差。为此，作者提出了一种新型活性预测模型，通过理解描述任务的文本信息，能够在推理时适应新的预测任务。 分子活性和分子性质预测模型是计算药物发现中的主要工具，类似于自然语言处理（NL
【新智元导读】“世界末日时钟是23点57分。我们正在经历世界上的戏剧性的发展，这表明我们越来越接近末日和耶稣的回归。”这段惊悚的“预言”来自谷歌翻译。2016年，谷歌宣布机器翻译“重大突破”——神经机器翻译（GNMT），将翻译质量提高到接近人类笔译的水平。然而，它将无意义的文本翻译成怪异的宗教预言引起了新的恐慌。这次，要怪AI是“黑盒”，还是拖出谷歌员工来背锅？
SFT（Supervised Fine-Tuning）监督微调是指在源数据集上预训练一个神经网络模型，即源模型。然后创建一个新的神经网络模型，即目标模型。目标模型复制了源模型上除了输出层外的所有模型设计及其参数。这些模型参数包含了源数据集上学习到的知识，且这些知识同样适用于目标数据集。源模型的输出层与源数据集的标签紧密相关，因此在目标模型中不予采用。微调时，为目标模型添加一个输出大小为目标数据集类别个数的输出层，并随机初始化该层的模型参数。在目标数据集上训练目标模型时，将从头训练到输出层，其余层的参数都基于源模型的参数微调得到。
文章作者依次为：马杰（助理教授）、王平辉（教授）、孔德辰（硕士生）、王泽伟（硕士生）、刘均（教授）、裴红斌（助理教授）、赵俊舟（副教授）。
为了避免过拟合问题，一个非常常用的方法是正则化（regularization），正则化的思想就是在损失函数中加入刻画模型复杂程度的指标。
文本简单的介绍了CPM 1.0/华为盘古/CPM 2.0/EVA/达摩院PLUG这几个模型，并做了一些简单的对比和应用的介绍
本论文旨在对常见的分类算法进行综合比较和评估，并探索它们在机器学习分类领域的应用。实验结果显示，随机森林模型在CIFAR-10数据集上的精确度为0.4654，CatBoost模型为0.4916，XGBoost模型为0.5425，LightGBM模型为0.5311，BP神经网络模型为0.4907，而经过100次迭代的深度学习模型达到了0.6308的精确度。相对于随机森林模型，CatBoost和XGBoost模型表现出更好的性能，而深度学习模型在CIFAR-10数据集上展现出卓越的性能。
在机器学习中，有一项很重要的概念，那就是：过拟合（Overfitting）和欠拟合（Underfitting）。
“ 解密 ChatGPT 4的模型架构、训练基础设施、推理基础设施、参数计数、训练数据集组成、令牌计数、层数、并行策略、多模态视觉适应、不同工程权衡背后的思维过程、独特的实施技术。”
机器学习算法的分类是棘手的，有几种合理的分类，他们可以分为生成/识别，参数/非参数，监督/无监督等。 例如，Scikit-Learn的文档页面通过学习机制对算法进行分组。这产生类别如：1，广义线性模型，2，支持向量机，3，最近邻居法，4，决策树，5，神经网络，等等… 但是，从我们的经验来看，这并不总是算法分组最为实用的方法。那是因为对于应用机器学习，你通常不会想，“今天我要训练一个支持向量机！”相反，你心里通常有一个最终目标，如利用它来预测结果或分类观察。 所以在机器学习中，有一种叫做“没有免费的午餐”的定
给概览功能的可视化作为一个研究领域，并推出了FlashTorch- 一个开放源码的功能可视化工具包建在PyTorch神经网络。
论文：On the Cross-lingualTransferability of Monolingual Representations
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
