开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

机器学习是否依赖于数据的质量？

机器学习是一种基于数据的学习方法，其依赖于数据的质量。数据质量包括数据的准确性、完整性、一致性、可用性和时效性等方面。如果数据质量不高，可能会导致机器学习模型的性能下降，甚至无法得到有效的结果。因此，在使用机器学习时，需要对数据进行清洗和预处理，以确保数据的质量。

推荐的腾讯云相关产品和产品介绍链接地址：

腾讯云机器学习平台：https://cloud.tencent.com/product/tms
腾讯云数据处理：https://cloud.tencent.com/product/data
腾讯云数据库：https://cloud.tencent.com/product/cdb
腾讯云存储：https://cloud.tencent.com/product/cos
腾讯云物联网平台：https://cloud.tencent.com/product/iot
腾讯云区块链：https://cloud.tencent.com/product/tbaa
腾讯云智能客服：https://cloud.tencent.com/product/tbp

页面内容是否对你有帮助？

有帮助

没帮助

相关·内容

通透！！机器学习、深度学习、人工智能的区别与联系！！

没有接触过机器学习的同学，往往对机器学习、深度学习、甚至是人工智能有着模糊的概念。

01

开源|构建空气质量数据库

数据是数据科学中必不可少的一环。如果没有数据，那么数据科学中所有的算法都将是一纸空谈，毫无利用价值。

01

【Google 年度顶级论文】机器学习系统，隐藏多少技术债？

原文在此：google原文 1. 介绍随着机器学习（ML）社群持续积累了几年对于活跃系统（live systems）的经验，一种让人不舒服的趋势广泛地浮出水面：研发和部署机器学习系统相对来说是既

ATEME白皮书：现在与未来，高质量流媒体的关键因素

原标题：THE SINGLE CRITICAL FACTOR FOR HIGH-QUALITY STREAMING, NOW AND FOREVER

02

2019年机器学习方面的最新研究

机器学习的用途正在迅速扩大。到了2019年，在探索使用该技术新方向上已经进行了大量研究。下面收集的是迄今为止在机器学习领域所进行的一些最激动人心的研究。

08

【2018春运-AI大战黄牛党】智能抢票选座，机器学习阻击黄牛党

作者：常佩琦【新智元导读】春运已到达高峰期，不少浏览器推出了人工智能抢票和选座功能。而黄牛党也与时俱进，用机器人和AI恶意刷票。如何应对这种现象？专家表示可利用机器学习来阻击黄牛党。又到了一年一度的春运大战。与往年不同的是，AI在今年的春运大战中扮演了重要角色。据悉，今年春运全国旅客发送量预计将达到30亿人次，预计铁路、民航分别增长8.8%和10%。如此庞大的返乡人群，加大了购票的难度。而12306利用稀奇古怪的图像验证码来防止黄牛党恶意刷票，结果却苦了正常购票的用户。不断有网友吐槽，12306网站

08

几种特征选择方法的比较，孰好孰坏？

在本文中，重点介绍特征选择方法基于评估机器学习模型的特征重要性在各种不可解释(黑盒)及可解释机器学习方法上的表现。比较了CART、Optimal Trees、XGBoost和SHAP正确识别相关特征子集的能力。

02

SIGCOMM 2023 | Veritas: 通过视频流媒体记录进行因果推理

在目前的视频流媒体的研究中，因果查询通常用来研究不同因素之间的因果关系，这种分析可以帮助视频流媒体服务提供商了解特定因素如何影响用户体验，从而优化服务。但在实际场景中，很难进行完全随机的实验来确定不同因素之间的因果关系，特别是当涉及到网络性能、用户行为和视频质量等复杂因素时。本文提出了 Veritas 框架，该框架利用现有的记录数据，因果推理和反事实查询，来推断不同设计选择（不同的 ABR 算法、ABR 算法中新的视频质量选项等）对视频流媒体性能的影响，因此，Veritas 框架能通过不同的设计来推断对视频流媒体性能的影响，有助于改善视频流媒体服务的高效性和稳定性。

06

python中openml入门

OpenML是一个开放的机器学习平台，允许研究人员和开发者共享、搜索和比较机器学习实验。它提供了一个统一的界面来访问各种机器学习数据集、算法和评估指标。本文将介绍如何在Python中使用OpenML进行机器学习实验。

01

回顾2021

1．对自动化测试有了理性的认识。前几年，无论参加什么测试会议，都是提及自动化测试的。虽然没有说自动化测试是万能的，但是许多人都感觉到好像只要企业上了自动化测试，软件的质量就得到了保障，就不会有Bug出现。从2020年开始，我就发现人们对自动化测试有了理性的认识，深切的感觉到了以功能为主的自动化测试目的在于新版本发布，验证回归测试用例是否能够正确地运行；手工测试仍然是发现缺陷的主力军，对于新功能，新老功能结合的功能，还是需要大量的手工测试；以性能为主测试必须依赖于自动化测试工具，比如LoadRunner、JMeter、Gatling、Locust；以安全为主测试同时依赖于工具和手工，手工测试主要处理与业务相关的安全测试；而工具主要处理与业务无关的安全测试，比如XSS攻击、SQL注入等等。

03

机器学习工程化，企业 AI 的下一个起点

作者 | Tina 机器学习在行业中的应用变得越来越流行，从而成为了软件开发的常规武器。行业的关注点，也逐渐从机器学习能做什么，过渡到如何有效地管理机器学习项目的交付流程上来。然而相对于传统软件开发，例如 Web 服务或者 Mobile 应用来说，这类程序的开发、部署和持续改进也更加的复杂。但好在经过不断的实践，行业总结出了一套敏捷的工程化流程，供大家在持续交付时遵循和参照。在 Thoughtworks 技术雷达峰会上，徐昊就《机器学习的工程化》发表了主题演讲，InfoQ 也借此机会对徐昊进行了采访，

02

麦肯锡汽车行业报告：通向自动驾驶之路的五大障碍

选自麦肯锡机器之心编译参与：黄小天、路雪、李亚洲人工智能是炒作吗？不。但是汽车 OEM 厂商需要五步来克服挑战，精确定位并走向成功。人工智能尽人皆知。但是在汽车行业，即使是今天，很多所谓的人工智能产品和服务事实上依赖于启用那些功能的高级分析（从传统算法发展而来），比如预测性维修。 1950 年，AI 理论就已经出现。但是，直到最近几十年，伴随着机器学习和深度学习的发展，AI 才获得广泛应用。这同样也得益于不断改进的算法和训练方法、更强大的计算能力和云端海量数据的获取。尽管有了这些发展，汽车行业仍然处

09

德国图宾根大学发布可扩展对抗黑盒攻击，仅通过观察决策即可愚弄深度神经网络

原文来源：arXiv 作者：Wieland Brendel、Jonas Rauber、Matthias Bethge 编译：嗯~阿童木呀、哆啦A亮不知道大家有没有注意到，许多机器学习算法很容易受到几乎不可察觉的输入干扰的影响。到目前为止，我们还不清楚这种对抗干扰将为现实世界中机器学习应用的安全性带来多大的风险，因为用于生成这种干扰的大多数方法要么依赖于详细的模型信息（基于梯度的攻击）或者置信度分数，例如类概率（基于分数的攻击），而这两种在大多数现实世界中都是不可用的。在许多这样的情况下，目前我们需要后

09

低质多模态数据融合，多家机构联合出了篇综述论文

多模态融合的动机在于联合利用来自不同模态的有效信息提升下游任务的准确性和稳定性。传统的多模态融合方法往往依赖高质量数据，难以适应现实应用中的复杂低质的多模态数据。

01

1.6 人工智能的基础知识

人工智能包含机器学习，机器学习包含深度学习。历史从推理为重点，到以知识为重点，再到以学习为重点的清晰脉络。1950年代明确提出来人工智能。

05

机器学习是最容易得到错误结论的一种解决方案

机器学习是最容易得到错误结论的一种解决方案。和编程、做表格、或者纯粹的数学建模不同，机器学习是由数据驱动，并有很强的黑箱性。因此很多时候容易得出似是而非的结论。举个最简单的例子：伪相关/虚假相关（spurious correlation），两个变量很容易看起来有很强的相关（参看图1和2），然而这仅仅是偶然。因此当机器学习模型很轻松就达到很好的效果时，比如百分之百的正确率，你要警惕。除了过拟合以外，你很有可能包含了某个不该使用的强特征，甚至把标签y也当做特征使用了。

05

中文综述｜机器学习在强对流监测预报中的应用进展

近年来, 机器学习理论和方法应用蓬勃发展, 已在强对流天气监测和预报中广泛应用。各类机器学习算法, 包括传统机器学习算法(如随机森林、决策树、支持向量机、神经网络等)和深度学习方法, 已在强对流监测、短时临近预报、短期预报领域发挥了积极的重要作用, 其应用效果往往明显优于依靠统计特征或者主观经验积累的传统方法。机器学习方法能够更有效提取高时空分辨率的中小尺度观测数据的强对流特征, 为强对流监测提供更全面、更强大的自动识别和追踪能力; 能够有效综合应用多源观测数据、分析数据和数值预报模式数据, 为强对流临近预报预警提取更多有效信息; 能够有效对数值模式预报进行释用和后处理, 提升全球数值模式、高分辨率区域数值模式在强对流天气预报上的应用效果。最后, 给出了目前机器学习方法应用中存在的问题和未来工作展望。

04

基于深度学习的表格检测与识别技术优势

是信息高度精炼集中，方便信息的检索和比较。表格被广泛用于表示结构和功能信息，它们出现在不同种类的文献中，包括报纸、研究论文和科学文件等。表格使读者能够快速地比较、分析和理解文件中出现的事实。表格识别的目的是获取图像中的表格并访问其数据，是文档分析与识别领域的一个重要分支。

03

判别式模型（Discriminative model）

在机器学习领域判别模型是一种对未知数据 y 与已知数据 x 之间关系进行建模的方法。判别模型是一种基于概率理论的方法。已知输入变量 x ，判别模型通过构建条件概率分布 P(y|x) 预测 y 。

03

【业界】自动机器学习的数据准备要素——分析行业重点

数据准备对于任何分析、商业智能或机器学习工作都是至关重要的。尽管自动机器学习提供了防止常见错误的保护措施，并且足够健壮地来处理不完美的数据，但是你仍然需要适当地准备数据以获得最佳的结果。与其他分析技术不同的是，机器学习算法依赖于精心策划的数据源。你需要在一个广泛的输入变量和结果度量的范围内组织你的数据，这些数据将描述整个事件的整个生命周期。在这篇文章中，我将描述如何以一种机器学习的格式合并数据，这种格式准确地反映了业务流程和结果。我将分享基本的指导方针和实用的技巧，从而帮你掌握自动机器学习模型数据准备的方

04

视觉数据和AI的“杀手应用”

虽然许多人正在寻找“杀手级”的视觉，但更有可能视觉是AI和计算机的“杀手级应用”。

03

工业4.0预测性维护指南

A-Guide-to-Industry-4.0-Predictive-Maintenance-1068x656-1.jpg

00

揭秘 AI 多模态融合的“智慧核心”：六校联合发布低质数据融合新篇章

多模态融合是多模态智能中的基础任务之一。多模态融合的动机在于联合利用来自不同模态的有效信息提升下游任务的准确性和稳定性。传统的多模态融合方法往往依赖高质量数据，难以适应现实应用中的复杂低质的多模态数据。

01

一文带你硬核踏入机器学习的大门！

有几天没更博客了，主要这几天一直忙着知识回顾和投简历，所以写博客的任务就一直被耽搁了。

03

人人都是「砖」家：from sklearn import *

现今，似乎稍微学点数据科学的人都称自己是数据科学家。有些人几乎没有或根本没有实践经验，甚至连理论基础都没有。这篇文章不是在说那些认真努力自学和有抱负的数据科学的人。事实上，我们认为这个领域尤其适合这样一群充满热情的人，我们今天diss的是那些上了一门网络课程，然后把自己塑造成专家的人！

03

中文综述｜机器学习在强对流监测预报中的应用进展

近年来, 机器学习理论和方法应用蓬勃发展, 已在强对流天气监测和预报中广泛应用。各类机器学习算法, 包括传统机器学习算法(如随机森林、决策树、支持向量机、神经网络等)和深度学习方法, 已在强对流监测、短时临近预报、短期预报领域发挥了积极的重要作用, 其应用效果往往明显优于依靠统计特征或者主观经验积累的传统方法。机器学习方法能够更有效提取高时空分辨率的中小尺度观测数据的强对流特征, 为强对流监测提供更全面、更强大的自动识别和追踪能力; 能够有效综合应用多源观测数据、分析数据和数值预报模式数据, 为强对流临近预报预警提取更多有效信息; 能够有效对数值模式预报进行释用和后处理, 提升全球数值模式、高分辨率区域数值模式在强对流天气预报上的应用效果。最后, 给出了目前机器学习方法应用中存在的问题和未来工作展望。

06

5G时代，为什么主流大厂纷纷布局这项技术？

导读：深度学习技术已经在互联网的诸多方向产生影响，每天科技新闻中关于深度学习和神经网络的讨论越来越多。深度学习技术在近两年飞速发展，各种互联网产品都争相应用深度学习技术，产品对深度学习的引入也将进一步影响人们的生活。

02

【业界】2018年，会对你产生重大影响的几个机器学习趋势

AiTechYun 编辑：nanan 如果有一个技术术语能让所有与该行业相关的人都喜欢上，那么它就必须是“机器学习”。“机器学习”缩写为ML，它以某种方式几乎影响了每个行业。从检测肿瘤和癌症的无人诊断

03

统计建模和机器学习的区别之我见

最近我多次被问到统计（尤其是统计建模）、机器学习和人工智能之间有何区别。其实这三者之间在目标、技术和算法方面有很多重叠的部分。引起困惑的原因不仅仅是因为这些重叠部分，也是因为我们被很多非科普文中的时髦

05

机器学习和统计模型的差异

在各种各样的数据科学论坛上这样一个问题经常被问到——机器学习和统计模型的差别是什么？这确实是一个难以回答的问题。考虑到机器学习和统计模型解决问题的相似性，两者的区别似乎仅仅在于数据量和模型建立者的不

08

机器学习、数据挖掘、人工智能、统计模型这么多概念有何差异？

在各种各样的数据科学论坛上这样一个问题经常被问到——机器学习和统计模型的差别是什么？这确实是一个难以回答的问题。考虑到机器学习和统计模型解决问题的相似性，两者的区别似乎仅仅在于数据量和模型建立者的不

07

【陆勤阅读】机器学习和统计模型的差异

在各种各样的数据科学论坛上这样一个问题经常被问到——机器学习和统计模型的差别是什么？这确实是一个难以回答的问题。考虑到机器学习和统计模型解决问题的相似性，两者的区别似乎仅仅在于数据量和模型建立者的不

08

在机器学习领域，苹果为什么缺席？

苹果历来的业务不依赖于机器学习，也不喜欢拿用户数据赚钱。当几乎其他所有的 IT 巨头都在收购机器学习的创业公司之时，甚至谷歌和 Facebook 已经聘请了许多相关当来自学术界的机器学习专家。但是，我们却并没有听到太多来自苹果的消息。他们对于 siri 系统的更新也是始终缓慢进行的。是否有一个战略方面的理由，使他们缺乏这方面的兴趣，他们对于相关方面的研究是否早已落后于其它公司？杰克·雷伊，谷歌 DeepMind 研究工程师在 Quora 进行回答，但他也表示，这是他个人意见，并不代表谷歌公司。

09

动态 | 如何减轻软件开发的回测压力？Facebook 已经用上了机器学习

AI 科技评论按：如何减轻软件开发的回测压力，从而提高工程师的生产效率？MATEUSZ MACHALICA、ALEX SAMYLKIN 等人组成的 Facebook 研究团队提出使用一个利用机器学习的新系统来创建一个为特定代码更改选择回归测试的概率模型，从而更好地执行这种回归测试。

01

直播预告 | 百度技术沙龙基于风险驱动的智能交付系统

风险无处不在，但不是所有的测试都能够揭露风险。基于这两个现实，百度MEG质量效能团队从2021年开始探索和实践基于风险驱动的测试，希望利用人工智能技术来决策测试行为，实现风险揭错的高ROI。 9月21日，本期沙龙数据派THU将带您走进百度MEG质量效能团队，为大家带来“基于风险驱动的智能交付系统”的专题分享。直播时间：2022/09/21 14:00-16:30 扫码预约直播演讲嘉宾：刘道伟，百度资深测试工程师百度资深测试工程师，搜索业务测试技术负责人，主要负责搜索测试中台和效能方向，具有多年

02

讨论 | 机器学习和统计模型的差异

编者按：统计模型有时也被称作统计分析或者统计建模，是基于传统统计学的一种数据分析方法。机器学习是数据挖掘的一种方法，包含利用分布式计算能力进行数据处理和数据挖掘的一系列算法和工具集。本文中的统计模型和机器学习的区别也可以理解为传统的数据分析(数学家阵营)和数据挖掘(计算机科学家阵营)之间的区别。在各种各样的数据科学论坛上这样一个问题经常被问到——机器学习和统计模型的差别是什么？这确实是一个难以回答的问题。考虑到机器学习和统计模型解决问题的相似性，两者的区别似乎仅仅在于数据量和模型建立者的不同。这里有

06

机器学习和统计模型的差异

本文摘自：Datartisan 在各种各样的数据科学论坛上这样一个问题经常被问到——机器学习和统计模型的差别是什么？这确实是一个难以回答的问题。考虑到机器学习和统计模型解决问题的相似性，两者的区别似

02

盘点丨2016 这一年，深度学习开始主宰互联网

AI 科技评论按：2016 即将画上句号，当我们回顾这一年的科技进展时，很难不联想到一个词——深度学习。当它从研究室中脱胎而出，并成为今年的当红热词，实际上我们已经意识到深度学习的来临。从 AlphaGo 到 Google Translate，AI 科技评论也做过不少覆盖和解析。Cade Metz 为 Wired 撰文回顾了与深度学习同行的这一年，本文由 AI 科技评论进行编译。在澳大利亚西海岸，Amanda Hodgson 正在操控无人机飞跃海面，无人机可以帮助他们在水面上拍摄照片，利用这些照片，可

06

近200篇文章汇总而成的机器翻译非自回归生成最新综述，揭示其挑战和未来研究方向

每天给你送来NLP技术干货！ ---- 作者：杜林鸽学校：苏州大学人工智能实验班方向：自然语言处理论文标题：A Survey on Non-Autoregressive Generation for Neural Machine Translation and Beyond 论文链接：https://arxiv.org/abs/2204.09269 概要以Transformer为基础的自回归生成（auto-regressive generation，AR）模型，已经被广泛应用到各类机器学习和自然语

02

机器学习：算法及工具

算法及工具 📷 说明编程语言：Python 机器环境：Windows 参考书籍：《Python机器学习实践指南》《机器学习实战》为什么使用Python 1.Python具有清晰的语法结构,简单易上手。大家也把它称作可执行伪代码（executable pseudo-code）。 2.易于操作纯文本文件。 3.使用广泛，存在大量的开发文档。 4.再包装其他语言的程序。Python又叫做胶水语言，因为它可以用混合编译的方式使用c/c++/java等等语言的库。数据挖掘十大算法（可参照博客：10 种机器学习

06

省掉 1/3 的回归测试：Facebook 用机器学习自动选择测试策略

顾翔老师开发的bugreport2script开源了，希望大家多提建议。文件在https://github.com/xianggu625/bug2testscript，

02

ML Ops：数据质量是关键

ML Ops 的发展弥补了机器学习与传统软件工程之间的差距，而数据质量是 ML Ops 工作流的关键，可以加速数据团队，并维护对数据的信任。

02

数据科学

版权声明：本文为博主-姜兴琪原创文章，未经博主允许不得转载。 https://blog.csdn.net/jxq0816/article/details/82823331

02

IBM AutoAI入门

IBM AutoAI是一项基于人工智能（AI）的自动化机器学习工具，旨在帮助开发人员和数据科学家在短时间内创建高质量的机器学习模型。它通过自动化的方式，从数据预处理到建模和部署，减少了繁琐的手动工作，加快了模型开发的速度和效率。本文将介绍IBM AutoAI的基本概念和使用方法。

01

南京大学周志华教授对话《科学通报》你担心“人工智能威胁论”吗

来源：科学出版社周志华教授周志华教授主要从事人工智能、机器学习、数据挖掘领域的研究工作, 现任南京大学计算机软件新技术国家重点实验室常务副主任、校学术委员会委员, 2003年获国家杰出青

09

机器学习和统计模型的差异

在各种各样的数据科学论坛上这样一个问题经常被问到——机器学习和统计模型的差别是什么？这确实是一个难以回答的问题。考虑到机器学习和统计模型解决问题的相似性，两者的区别似乎仅仅在于数据量和模型建立者的不

06

NIPS 2018 | 哪种特征分析法适合你的任务？Ian Goodfellow提出显著性映射的可用性测试

随着机器学习的复杂度和影响力不断提升，许多人希望找到一些解释的方法，用于阐释学得模型的重要属性 [1, 2]。对模型的解释可能有助于模型满足法规要求 [3]，帮助从业人员对模型进行调试 [4]，也许还能揭示模型学到的偏好或其他预期之外的影响 [5, 6]。显著性方法（Saliency method）是一种越来越流行的工具，旨在突出输入（通常是图像）中的相关特征。尽管最近有一些令人振奋的重大研究进展 [7-20]，但是解释机器学习模型的重要努力面临着方法论上的挑战：难以评估模型解释的范围和质量。当要在众多相互竞争的方法中做出选择时，往往缺乏原则性的指导方针，这会让从业者感到困惑。

02

UT Austin 研究人员展示了一种基于 MRI 数据集实现高质量图像重建的深度学习技术

在磁共振成像 (MRI) 扫描期间，对于许多人来说，时间似乎是静止的。那些经历过的人都明白，在嗡嗡作响的扫描仪内保持不动不动的困难，时间从几分钟到一个多小时不等。

04

清华大学开源迁移学习算法库：基于PyTorch实现，支持轻松调用已有算法

清华大学大数据研究中心机器学习研究部长期致力于迁移学习研究。近日，该课题部开源了一个基于 PyTorch 实现的高效简洁迁移学习算法库：Transfer-Learn。使用该库，可以轻松开发新算法，或使用现有算法。

03

每日论文速递 | 使用对比Reward改进RLHF

摘要：来自人类反馈的强化学习（RLHF）是将大语言模型（LLM）与人类偏好相匹配的主流范式。然而，现有的 RLHF 在很大程度上依赖于准确、翔实的奖励模型，而奖励模型对各种来源的噪声（如人类标签错误）很脆弱、很敏感，从而使管道变得脆弱。在这项工作中，我们通过在奖励上引入惩罚项来提高奖励模型的有效性，该惩罚项被命名为contrastive rewards。我们的方法包括两个步骤：(1) 离线采样步骤，获取对提示的回应，作为计算基线；(2) 使用基线回应计算对比奖励，并将其用于近端策略优化 (PPO) 步骤。我们的研究表明，对比奖励使 LLM 能够惩罚奖励的不确定性、提高鲁棒性、鼓励改进基线、根据任务难度进行校准以及减少 PPO 中的差异。通过 GPT 和人类的评估，我们的实证结果表明，对比性奖励可以大幅提高 RLHF，而且我们的方法始终优于强基线。

01

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭