如果你从事软件开发,你就会知道 Bug 是生活的一部分。当你开始你的项目时,Bug 就可能存在,当你把你的产品交付给客户时,Bug 也可能存在。在过去的几十年中,软件开发社区已经开发了许多的技术工具、IDE、代码库等来帮助开发者尽早地发现 Bug,以避免在产品交付的时候仍旧存在 Bug。
这大概就是为什么亚马逊开发了AutoGluon,这是一个开放源代码库,旨在使开发人员仅用几行代码即可编写AI嵌入的应用程序。它已经在GitHub上公开发布。
大噶吼,不说废话,分享一波我最近看过并觉得非常硬核的资源,包括Python、机器学习、深度学习、大模型等等。
Ambarella公司总部位于加州圣克拉拉,以芯片闻名。近日,它宣布了一个新的机器人平台,该平台基于其用于人工智能处理的CVflow架构。此外,它还与亚马逊网络服务签署了一项协议,以简化用其芯片设计产品的过程,有助于训练机器学习模型。
Root 假装发自 拉斯维加斯 量子位 出品 | 公众号 QbitAI 机器学习现在已经在多个领域爆发出惊人的能量,企业通过获取有效的用户数据,可以高效锁定用户的需求,针对性地提供服务,营收利润的拉升效果立竿见影。 但对于大多数急着上车的企业来说,自身业务结合人工智能技术最难的地方在于,没有办法迅速找到资深的AI专家来分析业务链,并搭建相应的机器学习模型解决核心问题,提升生产或者服务环节的效率。 亚马逊敏锐地捕捉到了这个痛点,在今天的创新大会AWS Re:INVENT上,亚马逊云服务AWS的CEO,Andy
机器之心报道 编辑:张倩、陈萍 我们见过很多神经网络上色、换表情、修改年龄的研究和应用,但它们往往只存在于 GitHub 上,距离「人人能用」还有一段距离。但最近,推出 Photoshop 的 Adobe 这次终于有所表示了:你们论文里的效果,我们打包实现了。 这两年,我们从很多论文中看到过一些令人惊艳的 demo,比如老照片自动上色、低画质图像秒变高清图像、普通图像一键变梵高风格等。 但对于不写代码、不玩模型的普通人来说,这些 demo 展示的应用还是非常遥远,或者只能从某个 APP 中找到其中一种。因
选自TechTalks 作者:Ben Dickson 机器之心编译 编辑:Panda 修图靠 Photoshop,修视频靠英伟达。 前段时间,Adobe 推出了一个名为「Neural Filters 」的工具包,将 AI 论文中常见的上色、换表情、改年龄、超分辨率等效果统统打包,集成到了 Photoshop 中,让用户动动鼠标就能用上这些功能。当时就有人问:「视频能 p 吗?」 作为一款主打图像处理的软件,Photoshop 或许没有办法很好地回答这一问题。但同样深耕于计算机视觉、计算机图形学的英伟达用行动
近期,AI领域不断涌现出重大的变革和创新,其中包括大规模模型的问世和AIGC技术的快速迭代发展。每天都有新技术、新算法不断涌现,更大型的模型也层出不穷。AI技术已经渗透到了各行各业,对开发者、设计师、文字工作者等职业都产生了深刻影响。AI正在改变着我们的工作生产方式,这已成为行业的共识。因此,了解和掌握AI的重要技术变革和趋势对于开发者来说至关重要。 为了让更多的开发者了解和真正参与到技术的开发与应用中,我们推出了一项名为【云上探索实验室】的活动,希望可以和开发者一起从实践中探索技术的边界。本期实验室主题围
来源:小金博士公众号 本文约5000字,建议阅读10分钟 本文将探索目前可用于自动化过程的框架,以帮助读者了解在自动化机器学习方面可能出现的情况。 自动机器学习综述 自从计算机时代开始,科学家和工程师们就一直想知道如何像人类一样,给计算机注入学习的能力。艾伦·图灵是第一批提出智能理论的科学家之一,该理论设想有一天计算机能够达到与人类同等的智能水平。从那时起,机器学习领域发生了一系列巨大的飞跃。我们已经看到机器学习在许多情况下击败或至少匹配特定的人类认知能力,例如在ResNet(一种深度残留的网络架构)的情况
自从计算机时代开始,科学家和工程师们就一直想知道如何像人类一样,给计算机注入学习的能力。艾伦·图灵是第一批提出智能理论的科学家之一,该理论设想有一天计算机能够达到与人类同等的智能水平。从那时起,机器学习领域发生了一系列巨大的飞跃。我们已经看到机器学习在许多情况下击败或至少匹配特定的人类认知能力,例如在ResNet(一种深度残留的网络架构)的情况下超越了人类在图像识别方面的表现,或者微软的语音转录系统几乎达到人类水平的表现。
TensorFlow 是广泛被用于开发大型深度神经网络 (DNN) 的开放源机器学习 (ML) 库,此类 DNN 需要分布式训练,并且在多个主机上使用多个 GPU。Amazon SageMaker 是一项托管服务,可通过主动学习、超参数优化、模型分布式训练、监控训练进展,部署培训模型作为自动扩展的 RESTful 服务,以及对并发 ML 实验进行集中式管理,从标签数据开始简化 ML 工作流。
有想法有创意,想快速自行发起项目?还在海量的工具包、软件、平台、库和各种插件上毫无头绪地寻觅?想加入初创公司一展身手,却找不到补课切入点?
选自towardsdatascience 作者:Saptashwa Bhattacharyya 机器之心编译 编辑:陈萍 损失函数是机器学习里最基础也是最为关键的一个要素,其用来评价模型的预测值和真实值不一样的程度。最为常见的损失函数包括平方损失、指数损失、log 对数损失等损失函数。这里回顾了一种新的损失函数,通过引入鲁棒性作为连续参数,该损失函数可以使围绕最小化损失的算法得以推广,其中损失的鲁棒性在训练过程中自动自我适应,从而提高了基于学习任务的性能。 这篇文章对 CVPR 2019 的一篇论文《A
XGBoost和Random-Forest(RF,随机森林)都属于集成学习(Ensemble Learning),集成学习的目的是通过结合多个基学习器的预测结果来改善单个学习器的泛化能力和鲁棒性,通过组合各个决策树的输出来进行预测(分类或回归)。而集成学习按照个体学习器的生成方式,可以大致分为两类:一类是个体学习器之间存在强依赖关系,必须串行生成序列的方法;以及个体学习器之间不存在强依赖关系,可同时生成的并行化方法。前者的代表就是XGBoost,后者的代表是Random-Forest。
机器之心报道 作者:张倩、魔王 get 了这个网站,今年万圣节 C 位就是你的! AI 是一个盛产阴间产品的领域,这一点似乎已经毋庸置疑。前不久,有人做了个用来生成「大眼萌」漫画形象的网站「Toonify」,但很快就有人走向了另一个极端:用类似技术做一个丧尸生成器! 利用 Toonify 生成的威尔 · 史密斯漫画形象。 利用「丧尸生成器」生成的威尔 · 斯密斯丧尸形象。 被玩坏的两位美国总统候选人。 这种搞笑又惊悚的风格似乎和即将到来的万圣节很般配。 为了让大家都用上这个效果,作者还专门做了一个名
作者:Bex T翻译:wwl 校对:张睿毅本文约3200字,建议阅读8分钟计算类数据科学库,已经不再局限在Pandas、NumPy、Scikit-learn之内了! 动机 2023年的开始,自然需要探索数据科学和机器学习的新趋势。经典的数据科学库Pandas、NumPy、Matplotlib、Scikit-learn虽然很重要,但是已经不够用了。 这个系列的上一篇文章(https://towardsdatascience.com/8-booming-data-science-libraries-you-mu
众所周知,在三大云提供商中 AWS 拥有最丰富的机器学习能力组合。随着 Sagemaker Studio 于 2020 年初公开发布,他们创建了一个全集成的 ML 开发环境——这是业界首创。
亚马逊一直在为其云计算子公司AWS添加AI功能。今天,亚马逊宣布了一系列对SageMaker的改进,SageMaker是用于构建,训练和部署机器学习模型的端到端平台。
作者 | Vishnu Prathish 译者 | 王强 策划 | 冬梅 本文最初发布于 Medium 网站,经原作者授权由 InfoQ 中文站翻译并分享。 众所周知,在三大云提供商中 AWS 拥有最丰富的机器学习能力组合。随着 Sagemaker Studio 于 2020 年初公开发布,他们创建了一个全集成的 ML 开发环境——这是业界首创。 在所有 ML 产品的中心锚定一个 IDE 是一个明智的举动——只要你的相关服务正确地填补了关键运维层面的空白。如果一切顺利,亚马逊将有机会一劳永逸地重塑行业中机
2017 年,Facebook 开源了针对深度学习的框架 PyTorch。PyTorch 可以帮助开发者和研究人员更加轻松的构建和训练模型。凭借其简单易用、功能强大、用途广泛等特点,PyTorch 广受欢迎,且至今仍是最火的深度学习框架之一。 近年来,随着数据集和模型规模的日益庞大,出于效率考虑,开发者通常采用分布式训练的方式,提⾼训练速度以加快模型迭代。流行的深度学习框架 PyTorch 也为分布式训练提供了内置支持。PyTorch 的分布式训练方式主要有 DP (DataParallel)、DDP (
01 GBDT和XGBoost的原理介绍 02 GBDT和XGBoost的异同点分析 03 什么风控建模场景下常用这两个明星算法? 04 GBDT的评估与调参思路 05 XGBoost的评估与调参思路 06 总结一下
一般情况下的梯度提升实现(如 XGBoost)都使用静态学习率。但是我们可以使用一个函数,使函数参数可以作为训练时的超参数来确定训练时的“最佳”学习率形状。听着很拗口对吧,通俗的讲就是我们可以使用超参数来调整在整个训练过程的学习率计划。
在机器学习中,目前主流的方法是利用LSTM等递归神经网络来对未来数据进行预测,这次介绍的DeepAR模型也不例外,不过不同的是,DeepAR模型并不是直接简单地输出一个确定的预测值,而是输出预测值的一个概率分布,这样做的好处有两点:
十多年来,得益于GPU等硬件性能的提升,大规模、高度复杂的深度学习应用成为了可能。但对于普通开发者来说,上手深度学习并不总是一件容易的事。 开发者或许会烦恼于构建、训练模型,部署模型和超参调优等繁琐步骤,或许还会受到算力条件的限制,诸多因素都会让深度学习的实战阻碍重重。 在这样的背景下,Amazon SageMaker应运而生,为万千开发者们带来了便捷。Amazon SageMaker 是一套强大的完全托管服务,覆盖深度学习全流程的工作体验,可以帮助开发者和数据科学家快速构建、训练和部署AI模型,大幅度消除
在机器学习领域,Boosting是一种强大的集成学习方法,它通过串行训练多个弱学习器(weak learner)并将它们组合成一个强大的模型。本文将详细介绍Boosting的原理、常见算法以及如何在Python中实现。
上一篇文章中,我们一起了解了用“移动平均”、“线性回归”预测股价的方法,今天这篇文章中,我们继续讲解XGBoost、LSTM的方法预测股价。
在集成学习中,目标是用多种学习算法最成功地训练模型。Bagging方法是一种集成学习方法,将多个模型并行应用于同一数据集的不同子样本。Boosting是另一种在实践中经常使用的方法,它不是并行构建的,而是按顺序构建的,目的是训练算法和模型。弱算法先对模型进行训练,然后根据训练结果对模型进行重组,使模型更容易学习。然后将修改后的模型发送给下一个算法,第二个算法比第一个算法学习起来更容易。本文包含了不同的增强方法,从不同的角度解释了这些方法并进行了简单的测试。
今天,我们要讲的是人工智能和机器学习,以及亚马逊 SageMaker 等产品如何改变数据科学家的工作方式。
选自Medium 作者:David Lee 机器之心编译 编辑:魔王、杜伟 计算机视觉可以学习美式手语,进而帮助听力障碍群体吗?数据科学家 David Lee 用一个项目给出了答案。 如果听不到了,你会怎么办?如果只能用手语交流呢? 当对方无法理解你时,即使像订餐、讨论财务事项,甚至和朋友家人对话这样简单的事情也可能令你气馁。 对普通人而言轻轻松松的事情对于听障群体可能是很困难的,他们甚至还会因此遭到歧视。在很多场景下,他们无法获取合格的翻译服务,从而导致失业、社会隔绝和公共卫生问题。 为了让更多人听到
本文将详细解释XGBoost中十个最常用超参数的介绍,功能和值范围,及如何使用Optuna进行超参数调优。
一周前,亚马逊启动了 SageMaker Studio 的免费简化版 SageMaker Studio Lab,提供了一个时限为12小时的 CPU 实例和一个时限为 4 小时的 GPU 实例。SageMaker Studio Lab 成为继 Google Colab、Kaggle 和 Paperspace 之后的又一个免费深度学习计算空间。
我们已经对XGBoost进行了验证,但在本文中,我们将更详细地研究XGBoost在股票价格预测问题中的性能。这篇文章和上篇文章的主要区别如下:
来源:ScienceAI 本文约1600字,建议阅读9分钟 近年来,在多种因素的推动下,机器学习 (ML) 经历了快速转型和采用。 关于人工智能(AI)和 ML 为什么会不断发展,有很多观点。麦肯锡最近的一份报告将 ML 的工业化和应用 AI 确定为今年的主要趋势之一。在本周 AWS re:Invent 大会的一次会议上,亚马逊(AWS)人工智能和机器学习副总裁兼总经理 Bratin 概述了这家云巨头看到的六大关键趋势,这些趋势有助于推动 2022 年及以后的创新和采用。 AWS 声称其 AI/ML 服
Boosting 已经存在了很多年,然而直到最近它们才成为机器学习社区的主流。那么,为什么这些 Boosting 如此流行呢?
Meta首席执行官马克·扎克伯格(Mark Zuckerberg)希望打埃隆·马斯克(Elon Musk)的脸,但也希望用公司最新的大语种模型击败AI竞争对手。
"We won't be distracted by comparison if we are captivated with purpose.—— Bob Goff"
机器之心报道 机器之心编辑部 UC 伯克利大学计算机科学博士胡戎航(Ronghang Hu)的博士论文新鲜出炉,内容涉及视觉与语言推理的结构化模型。 视觉 - 语言任务(如基于图像回答问题或按照自然语言指令在视觉环境中导航)需要对图像和文本两种模态的数据进行联合建模和推理。视觉和语言联合推理方面已经取得了很大进步,但通常使用的是在更大的数据集和更多计算资源帮助下训练的神经方法。 视觉 - 语言任务的解决是否只是堆参数堆数据那么简单?如果不是,如何构建更好的推理模型,既能提高数据效率又具备不错的泛化性能呢?
机器之心报道 编辑:魔王、小舟 来自加州理工学院和普渡大学的研究者通过直接在傅里叶空间中对积分核进行参数化,构造了一种新的神经算子——傅里叶神经算子(FNO)。 这篇由加州理工学院 Zongyi Li、Anima Anandkumar,以及普渡大学(Purdue University)Kamyar Azizzadenesheli 等人提交的论文的审阅。 本文的作者之一 Anima Anandkumar 是加州理工学院教授,也是英伟达机器学习研究的负责人。 传统意义上,神经网络主要学习有限维欧式空间之间的映
纯机器学习(ML)模型的训练与建立端到端的数据科学解决方案与实际企业需要之间存在巨大差异。 本文总结了我们团队与来自不同行业的数十家企业客户(包括制造业,金融服务业,零售业,娱乐业和医疗保健业等)合作两年后所总结的经验教训。 企业面临的最常见的ML问题是什么?除了训练ML模型之外还有什么? 如何解决数据收集问题? 如何扩展到大型数据集? 为什么特征工程如此重要? 如何从生产中的模型转变为功能完备的系统? 我们是否需要数据科学平台?
癫痫是一种中枢神经系统疾病(CNS),在美国影响约1.2%(340万人),全球影响超过6500万。此外大约每26人中就有一人会在其一生中的某个时刻患上癫痫症。癫痫发作的种类很多,每种都有不同的症状,如失去意识,抽搐运动或混乱。有些癫痫发作在视觉上难以察觉; 患者通常会表现出一些症状,例如在短时间内没有反应或茫然地凝视。癫痫发作可能意外发生,并可能导致诸如摔倒,咬舌头或失去对一个人的尿液或粪便的控制等伤害。因此这些是为什么癫痫发作检测对于怀疑易患癫痫发作的医疗监督患者至关重要的一些原因。
随机森林 [Breiman, 2001] 和 XGBoost [Chen and Guestrin, 2016] 已成为解决分类和回归的许多挑战的最佳机器学习方法。Local Cascade Ensemble (LCE) [Fauvel et al., 2022] 是一种新的机器学习方法, 它结合了它们的优势并采用互补的多样化方法来获得更好的泛化预测器。因此,LCE 进一步增强了随机森林和 XGBoost 的预测性能。
如果正在寻找一种将机器学习模型部署为生产Web服务的工具,那么 “ Cortex” 可能是一个不错的选择。这个开源平台是使用AWS SageMaker服务模型或通过AWS服务(例如Elastic Container Service(ECS),Elastic Kubernetes Service(EKS)和Elastic Compute Cloud(EC2)甚至是开放式)创建自己的模型部署平台的替代方案。Docker,Kubernetes和TensorFlow等源项目。
XGBoost在机器学习中被广泛应用于多种场景,特别是在结构化数据的处理上表现出色,XGBoost适用于多种监督学习任务,包括分类、回归和排名问题。在数据挖掘和数据科学竞赛中,XGBoost因其出色的性能而被频繁使用。例如,在Kaggle平台上的许多获奖方案中,XGBoost都发挥了重要作用。此外,它在处理缺失值和大规模数据集上也有很好的表现。
机器之心报道 机器之心编辑部 近日,瑞士 ANYbotics 公司打造的 ANYmal 机器人登上了新一期的《Science Robotics》封面,这款机器人的控制器可以使其穿越各种复杂的环境,包括溪流、草地、雪地、碎石坡等,而且不靠摄像头、激光雷达等常见设备——平衡系统不需要任何外界信息的输入,控制模型也不包含人类输入的规则。 腿式运动扩展了机器人的应用范围,但在地球上一些最具挑战性的环境中,大部分腿式机器人依然无能为力。 多年来,瑞士 ANYbotics 公司的团队一直在试图解决这个问题,他们的最新
安装虚拟环境:为了隔离依赖并防止与其他Python项目冲突,最好为ChatGPT开发创建一个虚拟环境。
梯度提升是应用机器学习最强大的技术之一,因此很快成为最受欢迎的技术之一。 但是,如何为您的问题配置梯度提升?
AI 圈里很多人都听说过开源 AI 作画扩散模型 Stable Diffusion,见识过 AI 图片横扫朋友圈。最近大模型兴起除了造梗图之外,应用前景也在逐渐清晰,AIGC(人工智能生成内容)成为了众多科技公司正在尝试的领域。
虽然现在深度学习大行其道,但以XGBoost、LightGBM和CatBoost为代表的Boosting算法仍有其广阔的用武之地。抛开深度学习适用的图像、文本、语音和视频等非结构化的数据应用,Boosting算法对于训练样本较少的结构化数据领域仍然是第一选择。本文先对前述章节的三大Boosting的联系与区别进行简单阐述,并一个实际数据案例来对三大算法进行对比。然后对常用的Boosting算法超参数调优方法进行介绍,包括随机调参法、网格搜索法和贝叶斯调参法,并给出相应的代码示例。
在本文的前两部分中,我获取了Fitbit的睡眠数据并对其进行预处理,将这些数据分为训练集、验证集和测试集,除此之外,我还训练了三种不同的机器学习模型并比较了它们的性能。
互联网上有很多关于梯度提升的很好的解释(我们在参考资料中分享了一些选择的链接),但是我们注意到很少有人提起自定义损失函数的信息:为什么要自定义损失函数,何时需要自定义损失函数,以及如何自定义损失函数。
领取专属 10元无门槛券
手把手带您无忧上云