文档建议反馈控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

李沐：从头开始介绍机器学习，眼花缭乱的机器学习应用

换言之，我们需要用数据训练机器学习模型，其过程通常如下： 初始化一个几乎什么也不能做的模型； 抓一些有标注的数据集（例如音频段落及其是否为唤醒词的标注）； 修改模型使得它在抓取的数据集上能够更准确执行任务...例如我们可以把本月公司财报数据抽取出若干特征，如营收总额、支出总额以及是否有负面报道，利用分类预测下个月该公司的CEO是否会离职。...该算法的排序结果并不取决于特定的用户检索条目。这些排序结果可以更好地为所包含检索条目的网页进行排序。 推荐系统 推荐系统与搜索排序关系紧密，并广泛应用于购物网站、搜索引擎、新闻门户网站等等。...下图展示了亚马逊网站对笔者之一有关深度学习类书籍的推荐结果。 ? 搜索引擎的搜索条目自动补全系统也是个好例子。它可根据用户输入的前几个字符把用户可能搜索的条目实时推荐自动补全。...而对非监督学习而言，例如聚类学习，可以把一堆无标识的图片自动聚合成若干类，其中每类分别对应一种动物。 以下我们简要介绍一些常见的非监督学习任务。

98950

SQL语句执行原理清空缓存的方法

语法符合后,就开始验证它的语义是否正确,例如,表名,列名,存储过程等等数据库对象是否真正存在,如果发现有不存在的,就会报错给应用程序,同时结束查询。...说明:SQL缓存分好几种,这里有兴趣的朋友可以去搜索一下,有时因为缓存的存在,使得我们很难马上看出优化的结果,因为第二次执行因为有缓存的存在,会特别快速,所以一般都是先消除缓存,然后比较优化前后的性能表现...DBCC FREESYSTEMCACHE 从所有缓存中释放所有未使用的缓存条目。SQL Server 2005 数据库引擎会事先在后台清理未使用的缓存条目，以使内存可用于当前条目。...但是，可以使用此命令从所有缓存中手动删除未使用的条目。 这只能基本消除SQL缓存的影响,目前好像没有完全消除缓存的方案,如果大家有,请指教。 执行顺序： FROM 子句返回初始结果集。...WHERE 子句排除不满足搜索条件的行。 GROUP BY 子句将选定的行收集到 GROUP BY 子句中各个唯一值的组中。 选择列表中指定的聚合函数可以计算各组的汇总值。

2.1K50
您找到你想要的搜索结果了吗？
是的
没有找到

开发 | MxNet李沐：机器学习简介——动手学深度学习0.1

换言之，我们需要用数据训练机器学习模型，其过程通常如下： 初始化一个几乎什么也不能做的模型； 抓一些有标注的数据集（例如音频段落及其是否为唤醒词的标注）； 修改模型使得它在抓取的数据集上能够更准确执行任务...例如我们可以把本月公司财报数据抽取出若干特征，如营收总额、支出总额以及是否有负面报道，利用分类预测下个月该公司的CEO是否会离职。...该算法的排序结果并不取决于特定的用户检索条目。这些排序结果可以更好地为所包含检索条目的网页进行排序。 推荐系统 推荐系统与搜索排序关系紧密，并广泛应用于购物网站、搜索引擎、新闻门户网站等等。...下图展示了亚马逊网站对笔者之一有关深度学习类书籍的推荐结果。 ? 搜索引擎的搜索条目自动补全系统也是个好例子。它可根据用户输入的前几个字符把用户可能搜索的条目实时推荐自动补全。...而对非监督学习而言，例如聚类学习，可以把一堆无标识的图片自动聚合成若干类，其中每类分别对应一种动物。 以下我们简要介绍一些常见的非监督学习任务。

1.2K40

专栏 | 李沐《动手学深度学习》第一章：机器学习简介

换言之，我们需要用数据训练机器学习模型，其过程通常如下： 初始化一个几乎什么也不能做的模型； 抓一些有标注的数据集（例如音频段落及其是否为唤醒词的标注）； 修改模型使得它在抓取的数据集上能够更准确执行任务...例如我们可以把本月公司财报数据抽取出若干特征，如营收总额、支出总额以及是否有负面报道，利用分类预测下个月该公司的 CEO 是否会离职。...互联网时代早期有一个著名的网页排序算法叫做 PageRank。该算法的排序结果并不取决于特定的用户检索条目。这些排序结果可以更好地为所包含检索条目的网页进行排序。...它可根据用户输入的前几个字符把用户可能搜索的条目实时推荐自动补全。...而对非监督学习而言，例如聚类学习，可以把一堆无标识的图片自动聚合成若干类，其中每类分别对应一种动物。 以下我们简要介绍一些常见的非监督学习任务。

92650

一篇非常详尽的NLP深度学习方法调研 | 论文精萃 | 14th

结果表明有诸多好处，字符感知神经网络可以使用只有190万个训练参数的网络在PTB数据集上实现最好水平的效果。可以更好的处理语料库中罕见的单词。增加highway层之后，可以更好的处理语义相似的问题。...一种用于非分割语言的RNN词法语言模型：这种模型用RNN模型，加上一个定向搜索编码器，通过语料库训练后，在词法分析、词性标注、词形还原等任务中均超过了所有基线性能。 6....这些弧线可以是右弧线，也可以是左弧线，这取决于上面的单词(在句子中更右边)是否依赖于下面的单词(在更左边)，或者底部的单词是否依赖于上面。一旦确定了依赖关系，单词就会从堆栈中弹出。...截至文章撰写时的最佳方法：是一种基于转移的依存语法分析方法，使用了可选择算法来生成有向无环图，而不是一个简单的树。...研究发现，语义分析模型同时跨多个领域训练比只在一个域训练更为有效。， 8.信息提取：利用算法从文本中提取显性或隐性信息的过程。

1.5K00

一个模板承包你所有表情包！

深度学习自然语言处理 原创 作者：cola meme是一种现代的交流形式，其模板具有基本的语义，任何人都可以在社交媒体上发布它。...由于机器学习系统没有足够的上下文来理解meme，因为它比图像和文本有更丰富的内容，所以机器学习系统很难处理meme。...KYM中的模因条目提供了基本模板和有关它的附加信息，如它的含义、来源、各种例子等。通过查看不熟悉的模板条目并查看其使用示例，用户可以学习如何解释和使用模板本身来为其特定的通信需求创建新的实例。...因此，我们只考虑训练集和测试集的划分。 实验结果 TLC优于微调 我们比较了嵌入文本、编码模板、模板和示例。...MEMEX不是把模因和标签配对，而是用一个模因和一个解释配对创建一个新任务，其中标签是解释是否与模因相关。理解模因需要额外的背景，但该方法不能应用于未包含在数据集中的模因，因为它依赖于有一个解释。

24650

自然语言处理全家福：纵览当前NLP中的任务、数据、模型与论文

模型通常在一个和训练时的源域不同的目标域上评估，其仅能访问目标域的未标记样本（无监督域适应）。评估标准是准确率和对每个域取平均的分值。 ? 语言建模 语言建模是预测文本中下一个词的任务。...数据可以从 MultiNLI 网站上下载：https://www.nyu.edu/projects/bowman/multinli/ 语型内（匹配）和跨语型（不匹配）评估的公开排行榜可查看（但这些条目没有对应已发表的论文...词性标注 词性标注（POS tagging）是一种标注单词在文本中所属成分的任务。词性表示单词所属的类别，相同的类别一般有相似的语法属性。...语义文本相似性 语义文本相似性在于推断两段文本之间的距离，例如我们可以分配 1 到 5 来表示文本有多么相似。对应任务有释义转换和重复识别。...类别取决于选择的数据集，可以有不同的主题。 AG News AG News 语料库包含来自「AG's corpus of news articles」的新文章，在 4 个最大的类别上预训练。

1.2K30

自然语言处理全家福：纵览当前NLP中的任务、数据、模型与论文

模型通常在一个和训练时的源域不同的目标域上评估，其仅能访问目标域的未标记样本（无监督域适应）。评估标准是准确率和对每个域取平均的分值。 ? 语言建模 语言建模是预测文本中下一个词的任务。...数据可以从 MultiNLI 网站上下载：https://www.nyu.edu/projects/bowman/multinli/ 语型内（匹配）和跨语型（不匹配）评估的公开排行榜可查看（但这些条目没有对应已发表的论文...词性标注 词性标注（POS tagging）是一种标注单词在文本中所属成分的任务。词性表示单词所属的类别，相同的类别一般有相似的语法属性。...语义文本相似性 语义文本相似性在于推断两段文本之间的距离，例如我们可以分配 1 到 5 来表示文本有多么相似。对应任务有释义转换和重复识别。...类别取决于选择的数据集，可以有不同的主题。 AG News AG News 语料库包含来自「AG's corpus of news articles」的新文章，在 4 个最大的类别上预训练。

2.8K00

亚马逊AI主任科学家李沐：机器学习简介

以网络搜索为例，相较于判断页面是否与检索条目有关，我们更倾向于判断在浩如烟海的搜索结果中，应向用户显示哪个结果。这就要求我们的算法，能从较大的集合中生成一个有序子集。...该算法的排序结果并不取决于用户检索条目，而是对包含检索条目的结果进行排序。现在的搜索引擎使用机器学习和行为模型来获得检索的相关性分数。有不少专门讨论这个问题的会议。...它可根据用户输入的前几个字符把用户可能搜索的条目实时推荐自动补全。...你可以把监督学习看成一个非常专业的工作，有一个非常龟毛的老板。老板站在你的身后，告诉你每一种情况下要做什么，直到学会所有情形下应采取的行动。...在欧几里德空间（例如，ℝnRn 中的向量空间）中是否存在一种符号属性，可以表示出（任意构建的）原始对象？这被称为表征学习（representation learning）。

1.6K60

谷歌借AI打破十年排序算法封印，每天被执行数万亿次，网友却说是最不切实际的研究？

近日，谷歌 DeepMind AI 小组如今开发出一种强化学习工具 AlphaDev，能够在无需通过人类代码示例做预训练的情况下，开发出极限优化的算法。...AlphaDev 学习算法可以结合 DRL 和随机搜索优化算法来玩组装游戏。...AlphaDev 中的主要学习算法是 AlphaZero 33 的扩展，AlphaZero 33 是一种著名的 DRL 算法，其中训练神经网络以指导搜索完成游戏。...AlphaDev 必须有效地搜索大量可能的指令组合，以找到可以排序的算法，并且还要比当前最好的算法更快，同时代理模型可以根据算法的正确性和延迟获得奖励。...从排序到散列 在发现更快的排序算法后，DeepMind 测试了 AlphaDev 是否可以概括和改进不同的计算机科学算法：散列。 哈希是计算中用于检索、存储和压缩数据的基本算法。

19730

谷歌首席科学家：半监督学习的悄然革命

作者认为在实际环境中重新审视半监督学习的价值是一个激动人心的时刻。 作为一个机器学习工程师，可能平时最常打交道的就是海量数据了。这些数据只有少部分是有标注的，可以用来进行监督学习。...那么接下来，我们就会顺理成章的想到用这些已标注过的数据进行训练，再利用训练好的学习器找出未标注数据中，对性能改善最大的数据，让机器自己的对未标注数据进行分析来提高泛化性能， 这种介于监督学习和无监督学习之间的方式...对于ImageNet，有一种称为AutoAugment的方法，它使用验证集上的强化学习来学习图像操作的策略（比如旋转，剪切，改变颜色），以提高验证的准确性。...（2）在半监督学习中，越来越倾向于使用一致性损失作为利用未标记数据的一种方式。...有一次，他们使用BERT模型作为基线，在其半监督训练之前以无人监督的方式进行微调，并表明他们的增强方法甚至可以在无人监督的预训练值之上增加价值。

65050

推荐系统遇上深度学习(十一)--神经协同过滤NCF原理及实战

这对隐性反馈的学习提出了挑战，因为它提供了关于用户偏好的噪声信号。虽然观察到的条目至少反映了用户对项目的兴趣，但是未查看的条目可能只是丢失数据，并且这其中存在自然稀疏的负反馈。...在隐性反馈上的推荐问题可以表达为估算矩阵 Y中未观察到的条目的分数问题（这个分数被用来评估项目的排名）。形式上它可以被抽象为学习函数： ?...为了处理缺失数据，有两种常见的做法：要么将所有未观察到的条目视作负反馈，要么从没有观察到条目中抽样作为负反馈实例。...1.3 NCF 本文先提出了一种通用框架： ? 针对这个通用框架，论文提出了三种不同的实现，三种实现可以用一张图来说明： ?...上面的表格设置了两个变量，分别是Embedding的长度K和神经网络的层数，使用类似网格搜索的方式展示了在两个数据集上的结果。增加Embedding的长度和神经网络的层数是可以提升训练效果的。

3.9K42

【综述】NLP领域迁移学习现状

在当前的自然语言处理领域中，也同样普遍存在着不同类型的迁移学习。这大致可以从三个维度进行分类：a）源设置和目标设置是否处理相同的任务；b）源域和目标域是否有相同的属性；c）task学习顺序是否相同。...序列迁移学习是目前改进最大的一种形式。一般的做法是先使用你选择的方法在大规模未标注文本语料库上进行预训练，然后使用标注数据将这些表示应用到一个有监督的目标任务上。如下所示： ?...为了有机会解决这个难题，模型需要学习语法，语义以及某些世界常识。给定足够的数据，大量参数和足够的计算能力，模型就可以有不错的学习成果。...使用语法进行预训练，能够取得较好的效果；即使没有明显地对语法进行编码，表征仍然可以学习到一些语法概念 (Williams 等人，2018)。...四、适配 为了使预训练模型适应目标任务，我们可以做出若干不同方向上的决策：架构修改，优化方案以及是否要获得更多的学习信号。

51720

NLP领域中的迁移学习现状

在当前的自然语言处理领域中，也同样普遍存在着不同类型的迁移学习。这大致可以从三个维度进行分类：a）源设置和目标设置是否处理相同的任务；b）源域和目标域是否有相同的属性；c）task学习顺序是否相同。...序列迁移学习是目前改进最大的一种形式。一般的做法是先使用你选择的方法在大规模未标注文本语料库上进行预训练，然后使用标注数据将这些表示应用到一个有监督的目标任务上。...为了有机会解决这个难题，模型需要学习语法，语义以及某些世界常识。给定足够的数据，大量参数和足够的计算能力，模型就可以有不错的学习成果。...使用语法进行预训练，能够取得较好的效果；即使没有明显地对语法进行编码，表征仍然可以学习到一些语法概念 (Williams 等人，2018)。...四、适配 为了使预训练模型适应目标任务，我们可以做出若干不同方向上的决策：架构修改，优化方案以及是否要获得更多的学习信号。

84541

DeepLog:基于深度学习的系统日志异常检测与诊断

这项工作提出了DeepLog，这是一种数据驱动的异常检测方法，可以利用大量的系统日志。DeepLog设计背后的关键直觉来自自然语言处理:我们将日志条目视为遵循特定模式和语法规则的序列元素。...我们的评估表明，在之前研究过的一个大型HDFS日志数据集上，DeepLog只训练了正常系统执行的日志条目的很小一部分(不到1%)，对剩下的99%的日志条目，DeepLog几乎可以达到100%的检测精度。...一般情况下，当要扩展的任务T有2个以上的日志key时，当检查kx是否可以被包括为新的头或尾时，我们需要检查kx与T中的每个对数键是否有大于τ的共现概率，一直到距离d'，其中d'是:i) T长度的较小值，...不仅异常日志条目难以获取，而且训练数据中未包含的新类型异常可能无法检测到。相比之下，DeepLog将其LSTM模型训练为多类分类器，只需要正常数据进行训练。...LSTM方法和基于密度的聚类方法都可以成功地分离所有任务。第一种方法需要LSTM;它是一种有监督的方法，需要提供训练数据。第二种方法是对一定距离阈值内的日志键的共现进行聚类，这是一种无监督的方法。

6K30

动态 | 谷歌开源 TF-Ranking：专用于排序学习的可扩展 TensorFlow 库

排序是一种以最大化整个列表效用为目的，对项目列表进行排序的过程，适用于搜索引擎、推荐系统、机器翻译、对话系统，甚至还能用于计算生物学等众多领域。...在诸如这些（以及其他诸多）应用中，研究人员经常使用一系列称作排序学习的有监督的机器学习技术。...因此，任何对构建 web 搜索或新闻推荐等基于真实世界数据的排序系统感兴趣的人，都可以将 TF-Ranking 作为强稳的、可扩展的解决方案。 经验评估是所有机器学习或信息检索研究的重要组成部分。...多条目评分 TF-Ranking 支持一种新的评分机制，在新的评分机制中可以对多个条目进行联合评分，这是对只能对单个条目进行独立评分的传统评分机制的扩展。...开启 TF-Ranking 的使用 TF-Ranking 实现了 TensorFlow Estimator 接口，它通过封装训练、评估、预测和导出服务，可以大大简化机器学习编程。

89630

LDAP概述

文件系统的每个节点或者是文件或者是目录，但不能同时是二者。在文件系统中，只有目录可以有子节点，而且只有文件可以包含数据。LDAP中的条目既可以是数据同时也可以兼任目录的角色。...1.4 操作数据 1.4.1 查询类操作 查询类操作允许用户搜索目录并取回目录数据，有两个查询操作：查询和比较。 LDAP查询操作用来在目录中搜索条目，并取出单个目录条目。...1.5.1 属性类型(attribute types) 属性类型控制属性格式,包括属性的语法、匹配规则、是否可以多值、修改权限和用法等。...“操作属性”（操作属性是一种独立于Object Class而存在的属性，它可以赋给目录中的任意条目）。...1.6 安全特性 LDAP的认证分为：无认证、基本认证、SSL/TLS三种，简单介绍一下。 无认证(匿名) 是最简单的一种方法，这种方法只在没有数据安全问题并且不涉及访问控制权限的时候才能使用。

3.1K30

图解2018年领先的两大NLP模型：BERT和ELMo

Word2Vec表明我们可以用一个向量(一个数字列表)以捕捉语义或意义关系(如判断单词的近义、反义关系)、以及语法或语法关系(例如, “had”和“has” 、“was” and “is”有同样的语法关系...ELMo的秘诀是什么ELMo通过训练预测单词序列中的下一个单词来获得语言理解能力——这项任务被称为语言建模。这很方便，因为我们有大量的文本数据，这样的模型可以从这些数据中学习，不需要标签。...NLP终于找到了一种方法，可以像计算机视觉那样进行迁移学习。...如何使用它来预训练可以针对其他任务进行微调的语言模型(在NLP领域，使用预训练模型或组件的监督学习任务被称为下游任务)。...通过这个结构，我们可以继续在相同的语言建模任务上训练模型：使用大量(未标记的)数据集预测下一个单词。只是，我们可以把足足7000本书的文本扔给它，让它学习！

1.3K20

机器学习（四）通过递归的矩阵向量空间预测组合语义摘要简介方法结果结论

但是，它们无法捕捉到更长的短语的位置意义，这样就阻碍了它们对语言的深入理解。我们介绍一种递归神经网络（RNN）模型，该模型学习任意句法类型和长度的短语和句子的组合向量表示。...我们的模型为解析树中的每个节点分配向量和矩阵：向量捕获组成部分的固有含义，而矩阵捕获它如何改变相邻单词或短语的含义。这种矩阵向量RNN可以学习命题逻辑的运算符和自然语言的含义。...组合.png 训练 我们通过在每个父节点顶部添加一个softmax分类器来训练向量表示，以一种情感分类或一些关系分类 ? softmax.png 其中W label∈R K×n是权重矩阵。...•使用的功能是手动开发的，不一定会捕获该单词的所有功能。 结论 我们的模型建立在语法上合理的解析树上，可以处理组合现象。 我们的模型的主要新颖性是矩阵向量表示与递归神经网络的组合。...它可以学习一个单词的意义向量，以及该单词如何修改其邻居（通过其矩阵）。 MV-RNN将有吸引力的理论性能与大型噪声数据集的良好性能相结合。

83070

图解 2018 年领先的两大 NLP 模型：BERT 和 ELMo

” 谷歌推出 BERT 模型被认为是 NLP 新时代的开始，NLP 终于找到了一种方法，可以像计算机视觉那样进行迁移学习。本文用图解的方式，生动易懂地讲解了 BERT 和 ELMo 等模型。...Word2Vec 表明我们可以用一个向量(一个数字列表)以捕捉语义或意义关系(如判断单词的近义、反义关系)、以及语法或语法关系(例如, “had” 和 “has” 、“was” and “is”有同样的语法关系...ELMo 通过训练预测单词序列中的下一个单词来获得语言理解能力——这项任务被称为语言建模。这很方便，因为我们有大量的文本数据，这样的模型可以从这些数据中学习，不需要标签。 ?...NLP 终于找到了一种方法，可以像计算机视觉那样进行迁移学习。...通过这个结构，我们可以继续在相同的语言建模任务上训练模型：使用大量(未标记的)数据集预测下一个单词。只是，我们可以把足足 7000 本书的文本扔给它，让它学习！

95211
点击加载更多

扫码

添加站长 进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

更多标签

活动推荐

    运营活动

    活动名称
    广告关闭

    腾讯云开发者

    扫码关注腾讯云开发者

    扫码关注腾讯云开发者

    领取腾讯云代金券

    热门产品

    热门推荐

    更多推荐

    Copyright © 2013 - 2024 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有

    深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 深公网安备号 44030502008569

    腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号 | 京公网安备号11010802020287

    领券