在过去一年中,研究者利用 Julia 在一台超级计算机上分析天文图像,速度提升了 1000 倍,在 15 分钟内将接近 2 亿个天体进行分类。从技术上来看,这种语言还会长期发展下去。然而,现在是一个里程碑的时刻:在本周于伦敦举办的 Julia 语言年会上,Julia 1.0 正式发布!一起发布的还有 JuliaCon。
上周(5/6/19),国际学习表征会议(ICLR)开幕了。在此,我想深入研究一些我认为有趣的ICLR论文,这些论文大多与我个人感兴趣的领域有关(无监督学习、元学习、注意力、NLP),但我选择它们的原因却是因为它们在各自领域的高质量和影响力。本文第一部分将介绍在小数据集上深度学习领域的突破。第二部分将讨论在NLP和其他序列化数据方面的突破。最后的第三部分是我觉得有趣的杂七杂八的论文。
AI 科技评论按:通常而言,深度学习是典型的数据驱动型技术,面对数据有限的情况,传统的深度学习技术的性能往往不尽如人意。在本届 ICLR 上,许多研究者们利用元学习、迁移学习等技术对小样本学习问题进行了探究,发表了多篇高质量论文,可谓百家争鸣!深度学习工程师 Isaac Godfried 在 Medium 上发表了一篇文章,基于今年 ICLR 上关于小型数据集深度学习研究的论文,探讨了目前小样本学习的最新进展。AI 科技评论编译如下。
Julia 可以看作是一门集众家之所长的编程语言,在首次公开时开发团队就已明确其需求:
研究者提出了YOLO-S,一个简单、快速、高效的网络。它利用了一个小的特征提取器,以及通过旁路和级联的跳过连接,以及一个重塑直通层来促进跨网络的特征重用,并将低级位置信息与更有意义的高级信息相结合。
LLM 可以提供即时的、针对实际编程任务定制的知识;这是学习编码习语和库的绝佳途径。
图像处理是机器学习中最有趣的子区域之一。它从多层感机知开始,后来出了卷积,后来发展出是注意力机制,然后就是transformers,现在新的论文将又我们带回到MLP。如果您像我一样,您的第一个问题将是MLP如何获得与transformers和CNN几乎相同的结果?这是我们将在本文中回答的问题。谷歌新提出的“ MLP-Mixer”取得了与SOTA模型非常接近的结果,该模型是在大量数据上训练的,速度几乎是其三倍。这也是该论文中一个有趣的指标(图像/核心/秒)。
如果你想写的组件只包含一个 render 方法,并且不包含 state,那么使用函数组件就会更简单。我们不需要定义一个继承于 React.Component 的类,我们可以定义一个函数,这个函数接收 props 作为参数,然后返回需要渲染的元素。
来自Transformer家族的预训练生成模型,通常被称为GPT或OPT,已经在复杂语言建模任务中取得了突破性的性能,引起了广泛的学术和实际兴趣。它们的一个主要障碍是计算和存储成本,这些成本在已知模型中排名最高。例如,性能最好的模型变种,例如GPT3-175B,具有约1750亿参数,需要数十到数百个GPU年进行训练。甚至在作者本文中,对预训练模型进行推理的更简单任务也非常具有挑战性:例如,以紧凑的FP16格式存储时,GPT3-175B的参数占用326GB的内存。这超出了甚至最高端的单个GPU的容量,因此推理必须使用更复杂和昂贵的设置,如多GPU部署。
ASP.NET Core 提供以下 3 种方法来使用依赖项注入容器注册服务。我们使用的方法决定了注册服务的生命周期。
本教程继续展示一些基本的Python脚本概念。我们将代码拉入脚本,函数,类和sys模块。
5G和5 GHz Wi-Fi都用于无线连接,但它们没有任何其他共同之处。任何人提到的“5G Wi-Fi”实际上是指5 GHz Wi-Fi,这与5G蜂窝标准不同。
Pandas是Python中重要的数据处理和分析库,它提供了强大的数据结构和函数,尤其是DataFrame,使数据处理变得更加高效和便捷。然而,对于新手来说,在DataFrame中插入一列可能是一个令人困惑的问题。在本文中,我们将分享如何解决这个问题的方法,并帮助读者更好地利用Pandas进行数据处理。
【新智元导读】梦是神秘的一种主体经验,是哲学、宗教、心理学等最感兴趣的话题,也产生了许多有关的科学猜想。但人类从未真正理解梦的内容、机制和作用。我们能不能设计一种机器学习算法来预测和分析我们的梦境呢?答案是肯定的。在AI的帮助下,理解、预测和控制梦境的技术上已经取得了进展。
深度学习在应用层面获得了巨大成功,这些实际应用一般都希望利用判别模型构建条件分布 p(y|x),其中 y 是标签、x 是特征。但这些判别模型无法处理从其他分布中提取的 x,也就是说模型在没见过的数据上表现很差。例如,Louizos 等人表示仅仅旋转 MNIST 数字,模型就会预测错误。
这是Java的经典问题。关于stackoverflow,已经提出了许多类似的问题,并且有很多不正确/不完整的答案。如果您考虑不多,问题很简单。但是,如果您对此进行更多考虑,可能会造成混乱。
在这篇文章里,你将学会什么是函数范式以及如何使用Python进行函数式编程。你也将了解列表推导和其它形式的推导。
今天我们发布了 React 16.9。它包含了一些新特性、bug修复以及新的弃用警告,以便与筹备接下来的主要版本。
英文 | https://medium.com/dev-genius/10-useful-javascript-code-snippets-that-you-need-everyday-2de5c4ef79c6
【新智元导读】 此前介绍的神经网络动物园让大家大饱眼福,看到了各种各样的神经网络模型。今天带来更为基础的介绍:组成神经网络模型的基本单元和层是怎么样的?通过信息图表,作者介绍了最基础的单元、长短期记
经常有人问的一个问题是“如何不显示零?”,下面介绍几种实现方法,每种方法都有各自的优缺点,感兴趣的用户可以选择最适合自己情况的方法。
Semantic Kernel是一个开源SDK,可让您轻松地将OpenAI,Azure OpenAI和Hugging Face等AI服务与C#和Python等传统编程语言相结合。通过这样做,您可以创建结合两全其美的 AI 应用程序。 Semantic Kernel 团队在博客上发布了2篇文章:
本文致力于概括本寒对计算机界三个重要思想的体会和认识。我希望做的并不是简单的百科全书式的列举(“A 体现了抽象思想;B 体现了分层思想…”),而是从这些思想中选取几个我个人较有体会(或者是我单纯觉得十分有趣)的侧面拿来细讲。这些侧面仅仅能覆盖这些思想应用范围中十分微小的一部分,它们并不是最有代表性的、亦非最为重要的——仅仅因为,我个人对这点侧面有些体会,或者我个人认为它比较有趣而已。
【导读】梦是神秘的一种主体经验,是哲学、宗教、心理学等最感兴趣的话题,也产生了许多有关的科学猜想。但人类从未真正理解梦的内容、机制和作用。我们能不能设计一种机器学习算法来预测和分析我们的梦境呢?答案是肯定的。在AI的帮助下,理解、预测和控制梦境的技术上已经取得了进展。
JavaScript有两组相等的运算符:===和!==,以及他们邪恶的孪生兄弟==和!=。===和!==运算符能够按照你期望的方式工作。如果两个运算数类型一致且拥有相同的值,那么===就返回true,!==返回false。但是**==和!=**只有在两个运算符类型一致时才会做出正确的判断,如果两个运算数是不同的类型,他们试图去强制转换值的类型。转换的规则复杂难以记忆。下面的一些有趣的例子:
迭代对于数据处理是基础的:程序将计算应用于数据系列,从像素到核苷酸。如果数据不适合内存,我们需要惰性地获取项目——一次一个,并按需获取。这就是迭代器的作用。本章展示了迭代器设计模式是如何内置到 Python 语言中的,因此您永远不需要手动编写它。
学生:如果 NULL 的值改变了, 比如在使用非零内部空指针的机器上,难道用 NULL (而不是 0) 不是更好吗?
调整模型的第一步是选择一组要评估的参数。例如,如果拟合偏最小二乘 (PLS) 模型,则必须指定要评估的 PLS 组件的数量。
二、程序结构 原文:Program Structure 译者:飞龙 协议:CC BY-NC-SA 4.0 自豪地采用谷歌翻译 部分参考了《JavaScript 编程精解(第 2 版)》 And my heart glows bright red under my filmy, translucent skin and they have to administer 10cc of JavaScript to get me to come back. (I respond well to toxi
编者按:深度学习算法近年来取得了长足的进展,也给整个人工智能领域送上了风口。但深度学习系统中分类器和特征模块都是自学习的,神经网络的可解释性成为困扰研究者的一个问题,人们常常将其称为黑箱。但理解深度神经网络的工作原理,对于解释其决策方式,并建立更强大的系统至关重要。 近日,DeepMind 发布了其关于神经网络可解释性的最新研究成果,他们通过删除网络中的某些神经元组,从而判定其对于整个网络是否重要。核心发现有如下两点: 可解释的神经元(例如“猫神经元”)并不比难以解释的神经元更重要。 泛化性良好的网络对于
编者按:深度学习算法近年来取得了长足的进展,也给整个人工智能领域送上了风口。但深度学习系统中分类器和特征模块都是自学习的,神经网络的可解释性成为困扰研究者的一个问题,人们常常将其称为黑箱。但理解深度神经网络的工作原理,对于解释其决策方式,并建立更强大的系统至关重要。
最近英伟达在 GAN 领域最大的研究突破莫过于 StyleGAN2 了。这一新的研究提升了生成图像的质量,实现了最新的 SOTA。论文公开的同时,英伟达也公开了相关的代码和 Colab 笔记,你可以直接在线使用。
当提到「计算」这个词的时候,我们会想到什么,是想到「计算机」,或是「图灵机」,又或是操控计算机的「汇编语言」,还是说「1 + 1」这样的算式?这些都是计算,但它们都是计算的一种表示而非计算本身,计算本身是一个更加本质的东西,可以认为是一种柏拉图型相,或是理念,刚刚说到的东西都是对它的摹仿。
在最近几个月中,我们已经帮助许多公司在各种环境中部署其AI / ML模型。我们为医疗行业的模型部署做出了贡献,在过去的几个月中,我们已经帮助多家公司将经过训练的模型转移到不同类型的IoT设备上。特别是在IoT设备情况下,要求通常很严格:计算周期数和可用内存通常都受到限制。
完全按照计划,没有任何意外:框架和 CLI 的更新可以通过 ng update 完成,其新功能是一个受欢迎的补充,符合“演化而不是革命”的座右铭。
我们展示了如何使用 JavaScript 来创建可重复使用的代码、解决日期管理问题、链接函数、检测恶意网站等。
开始本章翻译时,是5月初。当时并不知道平平无奇的5月Power BI会带来一大波更新,尤其是大杀器“字段参数”(字段参数参考文章)。
自 2017 年推出以来,Transformer 已成为机器学习领域的一支重要力量,彻底改变了翻译和自动完成服务的功能。
本文是对两大开源关系型数据库MySQL、PostgreSQL做了详细的对比,欢迎大家在评论区发表自己的见解。
选自DeepMind 机器之心编译 近日,DeepMind 发表博客介绍其对神经网络可解释性的最新研究成果。受神经科学启发,他们通过删除神经元来探索其对网络性能的影响。研究发现,和过去的经验直觉相反,选择性神经元(如「猫神经元」)对于网络的泛化能力并不重要。而某些行为难以理解的非选择性神经元却是不可或缺的。此外,作者还对比了泛化好和记忆好的网络对删除操作的响应行为。 深度神经网络由很多独立的神经元组成,这些神经元以一种复杂而反直觉的方式结合,从而完成一系列的挑战性任务。这一复杂性保证了神经网络的效力,但也使
你可能会经常听到一些人在抱怨 JS 很奇怪,有时甚至是一文不值。 之所以有这种想法,是因为他们不太了解 JS 背后的运作方式。 我也觉得 JS 在某些情况处理方式与其它语言不太一样,但这并不能怪它,它也只是以自己的方式展现给大家而已。
$ZTIMEZONE包含从格林威治子午线偏移的时区(以分钟为单位)。 (格林威治子午线包括整个英国和爱尔兰。)此偏移量表示为-1440到1440范围内的有符号整数。格林威治以西的时区指定为正数;格林威治东部的时区指定为负数。 (时区必须以分钟为单位,因为并非所有时区都以小时为单位。)默认情况下,$ZTIMEZONE初始化为计算机操作系统设置的时区。
深度学习中的自编码器。图源:https://debuggercafe.com/autoencoders-in-deep-learning/
目录 CLR 用户定义函数 模式匹配 数据提取 模式存储 匹配 在匹配项中进行数据提取 总结 尽管 T-SQL 对多数数据处理而言极其强大,但它对文本分析或操作所提供的支持却很少。尝试使用内置的字符串函数执行任何复杂的文本分析会导致难于调试和维护的庞大的函数和存储过程。有更好的办法吗? 实际上,正则表达式提供了更高效且更佳的解决方案。它在比较文本以便标识记录方面的益处显而易见,但是它的用途并不仅限于此。我们将介绍如何执行各种简单或令人惊异的任务,这些任务在 SQL Server™ 20
如果你在应用程序的后端使用过JavaScript进行编码,你可能对"promises"(承诺)有所了解。如果你对JavaScript中的承诺及其与代码的关系不太熟悉,它们基本上用于表示异步函数的最终调用/成功/失败。异步函数或操作是不在解释时运行的函数,可以与其他操作并行运行。相反,同步代码一次只运行一个操作,没有能力同时发送多个请求。
有几个 Python 库提供一系列机器学习算法的实现。最著名的是 Scikit-Learn,一个提供大量常见算法的高效版本的软件包。 Scikit-Learn 的特点是简洁,统一,流线型的 API,以及非常实用和完整的在线文档。这种一致性的好处是,一旦了解了 Scikit-Learn 中一种类型的模型的基本用法和语法,切换到新的模型或算法就非常简单。
领取专属 10元无门槛券
手把手带您无忧上云