ggplot2可以用来创建优雅的图形，由于它的灵活，简洁和一致的接口，可以提供美丽、可直接用来发表的图形，吸引了许多用户，特别是科研领域的用户。ggplot2使用grid包来提供一系列的高水平的函数，并将其延伸为图形语法，即独立指定绘图组件，并将它们组合起来，以构建我们想要的任何图形显示。图形语法包含6个主要成分：data, transformations, element, scales, guide和 coordinate system。图层图形语法源于多层数据构建图形的想法。它定义了下表中的图形组分：data, aesthetic mappings, statistical transformations, geometric objects, position adjustment, scales, coordinate system 和 faceting（数据、几何映射、统计变换、几何对象、位置调整、比例、坐标和面）。数据、几何映射、统计变换、几何对象、位置调整形成一个图层，一个图可以有多个图层。
编辑 | 磐石 出品 | 磐创AI技术团队 【磐创AI导读】：本文详细介绍了GRU结构并在文末介绍其python实现。欢迎大家点击上方蓝字关注我们的公众号：磐创AI。进入公众号通过下方文章精选系列文章了解更多keras相关项目。 介绍 GRU(Gated Recurrent Unit) 是由 Cho, et al. (2014) 提出，是LSTM的一种变体。GRU的结构与LSTM很相似，LSTM有三个门，而GRU只有两个门且没有细胞状态，简化了LSTM的结构。而且在许多情况下，GRU与LSTM有同样出色的
四种常见的作图系统中，ggplot2包基于一种全面的图形“语法”，提供了一种全新的图形创建方法。这个包极大地扩展了R绘图的范畴，提高了图形的质量。它通过全面一致的语法帮助我们将多变量的数据集进行可视化，并且很容易生成R自带图形难以生成的图形。
RDD，学名可伸缩的分布式数据集（Resilient Distributed Dataset）。初次听闻，感觉很高深莫测。待理解其本质，却发现异常简洁优雅。本文试图对其进行一个快速侧写，试图将这种大数据处理中化繁为简的美感呈现给你。
Daff是一家全球音乐流媒体公司，公司的愿景是：“在生活中的每一刻， 以身临其境的艺术体验， 连接全球的艺术家和听众”。在它的使命背后，是公司对数据、分析和人工智能寄予的厚望。
点击率(CTR，Click-Through Rate)以及派生的各种用户行为概率(如商品购买率、推荐好友接受率、短视频3s曝光率等)是广告、推荐、搜索等互联网应用中大家耳熟能详的词汇。以点击率为例，如何建立高效的CTR预估模型是领域从业者们的核心能力，也是头部企业长期重兵投入、持续优化的核心技术。
RDB持久化是将Redis当前进程中的数据生成快照并保存到硬盘的过程。快照指的是Redis在某一时刻的内存状态的记录，类似于拍照一样把数据保存下来，因此也被称为Redis的数据库快照（Redis DataBase Dump），简称RDB。该机制使得Redis能够将内存中的数据保存到磁盘上并在需要的时候加载该数据从而恢复Redis的状态。
本文探讨了如何使用向量自回归模型（VAR）进行时间序列预测，并提出了基于矩阵分解和并行计算的优化方法。首先，介绍了VAR模型的基本原理和常见应用。然后，详细阐述了如何利用基于优化的方法来找到最佳参数，并使用QR分解来加速计算。最后，探讨了如何进一步改进VAR模型以增强其性能和灵活性。
AI 研习社按，日前，由中国中文信息学会 (CIPS)、中国计算机学会 (CCF) 和百度公司联合举办的「2018 机器阅读理解技术竞赛」落下帷幕，Naturali 奇点机智从国内外 800 多支队伍中脱颖而出，获得第一名。在两个评价标准 ROUGE-L 和 BLEU-4 上，奇点机智分别获得 63.38 和 59.23 的得分，均高出第二名超过两分。
世界的万千变化一直超乎我们的预测，自2012年以来，大数据一词成了人类生活的代名词。如今，数据几乎已经渗透到了每一个行业的每一个领域之中，成了不可或缺的生产因素。每一天，互联网都会繁衍出无数的数据，这些内容足以刻满2亿张光碟；而手机客户端发出的帖子和邮件总数可达到3000万亿，如此惊人的数据使得对海量数据的挖掘和分析，成了企业发展的重要内容。大数据的数量大、类型多、时效快、价值密度低的特点，让这个世界充满了变数和乐趣。
消息队列是在乐视这边非常普遍使用的技术。在我们部门内部，不同的项目使用的消息队列实现也不一样。下面是支付系统的流转图(部门兄弟画的，借用一下): 从图中可以看到，里面用到了kafka消息队列。作用
点击上方↑↑↑“OpenCV学堂”关注我来源：公众号 量子位 授权 这两天，推特上一个任务悬赏火得一塌糊涂。 一家AI公司提供25万美金（折合人民币约167万元），悬赏什么任务能让模型越大、性能反而越差。 评论区里已经讨论得热火朝天了。 不过这事儿倒也不是单纯整活，而是为了进一步探索大模型。 毕竟，这两年大家越发意识到，AI模型不能单纯比“大”。 一方面，随着模型的规模越来越大，训练付出的成本开始呈现指数型增长； 另一方面，模型性能的提升也已经逐渐到达瓶颈期，哪怕想要让误差再下降1%，都需要更多的数据
我们的大多数统计评估都依赖于累积分布函数 (CDF)。尽管直方图乍一看似乎更直观并且需要较少的解释，但实际上 CDF 提供了几个优点，值得熟悉它。CDF 的主要优点以及我们主要使用它而不是直方图的原因在对两个图的主要解释之后列出如下。
作者：金一鸣审校：陈之炎 本文约4400字，建议阅读8分钟本文选择一个简单直观的应用实战——根据股价基本 历史数据来预测股市涨跌。 支持向量机（Support Vector Machine, SVM)是一种通过监督学习方式来进行学习的分类和回归模型，在多数情况下，人们都会用这个模型来进行较小规模的二分类任务的求解。支持向量机主要的思想是在特征空间上找到一个与正负样本边界最大的线性分类器，而求解边界最大化的问题从数学的角度来看即是求解凸二次规划（Convex Quadratic Programming)的最优
1.数据挖掘与聚类分析概述 数据挖掘一般由以下几个步骤： (l)分析问题:源数据数据库必须经过评估确认其是否符合数据挖掘标准。以决定预期结果，也就选择了这项工作的最优算法。 (2)提取、清洗和校验数据:提取的数据放在一个结构上与数据模型兼容的数据库中。以统一的格式清洗那些不一致、不兼容的数据。一旦提取和清理数据后，浏览所创建的模型，以确保所有的数据都已经存在并且完整。 (3)创建和调试模型:将算法应用于模型后产生一个结构。浏览所产生的结构中数据，确认它对于源数据中“事实”的准确代表性，这是很重要的一点。虽然
.NET数据挖掘与机器学习 原文：http://www.cnblogs.com/asxinyu/archive/2013/08/29/3289682.html 数据挖掘方法的提出，让人们有能力最终认识数据的真正价值，即蕴藏在数据中的信息和知识。数据挖掘 (DataMiriing)，指的是从大型数据库或数据仓库中提取人们感兴趣的知识，这些知识是隐含的、事先未知的潜在有用信息，数据挖掘是目前国际上，数据库和信息决策领域的最前沿研究方向之一。因此分享一下很久以前做的一个小研究成果。也算是一个简单的数据挖掘处理的例
数据挖掘方法的提出，让人们有能力最终认识数据的真正价值，即蕴藏在数据中的信息和知识。数据挖掘 (DataMiriing)，指的是从大型数据库或数据仓库中提取人们感兴趣的知识，这些知识是隐含的、事先未知的潜在有用信息，数据挖掘是目前国际上，数据库和信息决策领域的最前沿研究方向之一。因此分享一下很久以前做的一个小研究成果。也算是一个简单的数据挖掘处理的例子。 1.数据挖掘与聚类分析概述 数据挖掘一般由以下几个步骤： (l)分析问题:源数据数据库必须经过评估确认其是否符合数据挖掘标准。以决定预期结果，也就选择
摘要 NLP尚未解决的核心目标是，确保电脑理解文件回答理解问题。而通过机器学习系统，解决该问题的一大阻碍是：人类-注释数据的可用性有限。Hermann等人通过生成一个超过百万的实例（将CNN和日常邮件消息与他们自己总结的重点进行配对）来寻求解决方案，结果显示神经网络可以通过训练，提高在该任务方面的性能。本文中，我们对这项新的阅读理解任务进行了彻底的检测。我们的主要目标是，了解在该任务中，需要什么深度的语言理解。一方面，我们仔细的手动分析问题小的子集，另一方面进行简单的展示，在两个数据集中，细心的设计系统，就
明敏 发自 凹非寺 量子位 | 公众号 QbitAI 这两天，推特上一个任务悬赏火得一塌糊涂。 一家AI公司提供25万美金（折合人民币约167万元），悬赏什么任务能让模型越大、性能反而越差。 评论区里已经讨论得热火朝天了。 不过这事儿倒也不是单纯整活，而是为了进一步探索大模型。 毕竟，这两年大家越发意识到，AI模型不能单纯比“大”。 一方面，随着模型的规模越来越大，训练付出的成本开始呈现指数型增长； 另一方面，模型性能的提升也已经逐渐到达瓶颈期，哪怕想要让误差再下降1%，都需要更多的数据集增量和计算增
超市业已成为商业领域最具活力的商业业态，竞争也变得日益激烈。数据挖掘技术越来越多地服务于超市营销战略，本文在数据挖掘的基础上，深入分析了关联规则算法，研究算法的基本思想、算法的性质，并对算法进行详细的性能分析，比较了Apriori算法和改进Apriori算法。最后，采用R软件对超市数据进行挖掘，为超市营销提供策略（点击文末“阅读原文”获取完整代码数据）。
超市业已成为商业领域最具活力的商业业态，竞争也变得日益激烈。数据挖掘技术越来越多地服务于超市营销战略，本文在数据挖掘的基础上，深入分析了关联规则算法，研究算法的基本思想、算法的性质，并对算法进行详细的性能分析，比较了Apriori算法和改进Apriori算法。最后，采用R软件对超市数据进行挖掘，为超市营销提供策略。
编者按：微软亚洲研究院提出新的预训练模型 ProphetNet，提出了一种新的自监督学习目标——同时预测多个未来字符，在序列到序列的多个自然语言生成任务都取得了优异性能。
Redis是内存数据库，我们能时时刻刻能感受到Redis作者为更好地使用内存而费尽各种心思，例如最明显的是对于同一种数据结构在不同应用场景下提供了基于不同底层编码的实现（如压缩列表、跳跃表等）。
我开始跟神经网络打交道是在几年之前，在看了一篇关于神经网络用途的文章后，我特别渴望能够深入研究一下这个在过去几年间吸引了众多关注的问题解决方案。 2015年，斯坦佛大学研发了一个模型，当时我被这个模型惊艳到了，因为它可以生成图片以及其所属区域的自然语言描述。看完之后，我非常想要做一些类似的工作，于是我开始了搜索。 根据我在其他机器学习领域的相关专题的经验，非常详细的数学解释，各种各样的衍生以及公式让人理解起来特别困难。于是，我决定暂时抛开这些。 当然这并不是说能立即上手写代码。必须学习一些关于神经网络的
2017年12月15日，由新华网主办的2017中国大数据产业年会在北京成功举行。该年会以“大数据助力中国新经济”为主题，汇聚大数据“产学研”大咖，共同探讨大数据产业前沿课题，应对“大数据+”带来的机遇与挑战。 📷 在本次年会上，复旦大学数字与移动治理实验室联合新华网、提升政府治理能力大数据应用技术国家工程实验室发布了最新的中国开放数林指数及《中国地方政府数据开放平台报告 平台体验》。 📷 📷 📷 在充分借鉴国际性开放数据评估报告指标体系的基础上，立足于目前我国各地开放数据平台的实际情况与发展阶段，报告建构
样式映射器将预设样式应用于它接收到的照片。在最近的一项研究中，来自伊利诺伊大学厄巴纳-香槟分校的研究人员将JoJoGAN介绍为一种从单个样式样本中学习样式映射器的简单方法。例如，该技术允许没有经验的用户提供样式样本，然后将该样式应用于他们选择的图像。该团队在人脸照片的背景下讨论了它的方法，因为风格化的人脸对没有经验的用户非常有吸引力；然而，这个概念可以应用于任何图像。
摘要：本篇主要介绍了百度在多模态学习领域的成果UNIMO模型。首先是背景介绍，针对当前主流多模态学习模型存在训练语料少和模态缺失导致模型效果下降的问题，百度提出了UNIMO统一学习模型；然后重点介绍了UNIMO模型，主要包括UNIMO如何解决训练数据稀少和模态缺失问题、UNIMO模型输入、跨模态对比学习的UNIMO、UNIMO中视觉学习和文本学习以及UNIMO模型效果；最后介绍了UNIMO开源项目工程。对多模态学习感兴趣并且希望应用到项目实践的小伙伴可能有所帮助。
这是机器学习发挥作用的地方。我们将建立一个机器学习分类器来判断一只股票是买入、卖出还是持有。为了确定一个股票或公司是否属于这三种类型之一，我们将看一下每个公司的季度报告。这些季度报告包含了必要的财务信息，我们需要用基本面分析的方法来训练我们的机器学习分类器。
迁移学习(Transfer learning) 顾名思义就是把已训练好的模型参数迁移到新的模型来帮助新模型训练。考虑到大部分数据或任务都是存在相关性的，所以通过迁移学习我们可以将已经学到的模型参数（也可理解为模型学到的知识）通过某种方式来分享给新模型从而加快并优化模型的学习效率不用像大多数网络那样从零学习。
大数据文摘作品 作者：Priya Dwivedi 编译：朝夕、吴双、钱天培 2016年年末，Amazon无人超市横空出世。在这家无人超市，店内的相机能够自动追踪你拿取的商品；完成购物后，你无需排队等候收银，只用直接走出超市。 自此之后，阿里和京东也已相继加入战局，先后推出无人超市体验店。一时间，无人超市的概念已实现了大规模普及。 无人超市的“黑科技”到底是什么呢？今天，文摘菌就为大家科普其中最重要的一环——基于计算机视觉技术的物体识别。 首先，让我们分析一下实现无人超市的两大难点。 难点一：把商品加入购物
1．引言 随着统计科学的日益发展，其对其他学科的渗透作用日益增强，数据分析方法在医学、生物学、社会学等各个学科中得到了广泛的应用，本文试图对收集到的某个临床医学数据运用决策树、神经网络、支持向量机、随机森林等各种现代分类方法进行分析，以佐证数据挖掘对其他学科的重要意义；另一方面，就各种现代分类方法的实际效果进行对比。笔者从网上收集到关于某个脊椎病变的临床医学数据，该数据集为真实公开的非人造数据，公布地址为：http://archive.ics.uci.edu/ml/datasets/Vertebral+Co
当我们在探讨数据结构的时候，其一般有两种含义，一种是广义的含义，表示数据的组织结构或者组织方式，即各种数据以什么样的方式组合在一起构筑成企业的数据地图；另外一种是狭义的含义，是指在数据记录时数据的结构，即一条数据自身的结构化问题。为了区别，通常把广义的含义称为“数据组织结构”，把狭义的含义称为“数据结构”。
2、使用基于决策树的combination算法，如bagging算法，randomforest算法，可以解决过拟合的问题。
机器学习算法我们了解了很多，但是放在一起来比较优缺点是缺少的，本篇文章就一些常见的算法来进行一次优缺点梳理。
人工智能系统中存在着偏见，但是有偏见的算法系统并不是一个新现象。随着包括司法和健康等领域在内的各种组织都在采用人工智能技术，人们开始关注对基于人工智能的决策缺乏问责制和偏见。从人工智能研究人员和软件工程师到产品领导者和消费者，各种各样的利益相关者都参与到人工智能流水线中。在人工智能、数据集以及政策和权利领域的必要专业知识，可以共同揭示偏见，但是，这些利益相关者之间并不是统一可用的。因此，人工智能系统中的偏见会在不明显的情况下复合。
当我们说起金融时间序列的预测，大家可能第一个想到的是预测股票价格。 然而，Chollet 的《Deep Learning with Python》一书强调，人们不应该尝试使用时间序列预测方法去预测股票价格。 他解释道，在股市中过去的数据并不是估计未来的一个好的基础。
导读 本文讨论了最新爆款论文(Training RNNs as Fast as CNNs)提出的LSTM变种SRU(Simple Recurrent Unit)，以及基于pytorch实现了SRU,并且在四个句子分类的数据集上测试了准确性以及与LSTM、CNN的速度对比。 一.为什么要提出SRU？ 深度学习的许多进展目前很多均是来源于增加的模型能力以及相关的计算，这经常涉及到更大、更深的深层神经网络，然而，虽然深层神经网络带来了明显的提升，但是也耗费了巨大的训练时间，特别是在语音识别以及机器翻译的模型训练
项目上遇到一个爬虫问题，需要大批量提取数据，为了加快速度，采用多线程，研究多线程的时候出现了进程这个词汇，网上看到一篇文章写的不错，分享给读者。
投影是指找到一个比当前维度低的维度面（或线），这个维度面或线离当前所有点的距离最小，然后将当前维度投射到小维度上
“工业流水线”的鼻祖，福特 T 型汽车[1]的电机装配，将组装过程拆成 29 道工序，将装备时间由平均二十分钟降到五分钟，效率提升四倍 ，下图图源[2]。
今天给大家介绍的是IBM欧洲研究院，伯尔尼大学以及比萨大学研究人员联合发表在Nature Machine Intelligence上的一篇文章。作者提出一种对化学反应数据集自动降噪的方法，并使用该方法对两个化学反应数据集(Pistachio和一个开源数据集)进行降噪并完成化学反应预测和逆合成设计任务，实验表明，在降噪后的数据集上训练的模型预测性能得到了改善。
编译 | Antonio 编辑 | 陈彩娴 伴随深度学习的不断日常化，数据集中的偏见（bias）和公正性（fairness）已经成为一个热门研究方向。 偏见在AI领域是一个很棘手的话题：有些偏见是有益的，例如噪声数据可以增加模型的鲁棒性，有些偏见是有害的，例如倾向对有色人种识别错误。 而且，当我们得到一个不完美的模型的时候，其中的数据集到底存在什么偏见？这些偏见是如何产生的？ 谷歌的PAIR （People + AI Research）团队最近发表了一篇博文，用一个很简单有趣的例子讨论了这些问题。 原文
大数据平台通过将所有数据整合起来，充分分析与挖掘数据的内在价值，为业务部门提供数据平台，数据产品与数据服务。大数据平台接入的数据中可能包括很多用户的隐私和敏感信息，如用户在酒店的入住纪录，用户支付信息等，这些数据存在可能泄漏的风险。大数据平台一般通过用户认证，权限管理以及数据加密等技术保证数据的安全，但是这并不能完全从技术上保证数据的安全。严格的来说，任何有权限访问用户数据的人员，如ETL工程师或是数据分析人员等，均有可能导致数据泄漏的风险。另一方面，没有访问用户数据权限的人员，也可能有对该数据进行分析挖掘的需求，数据的访问约束大大限制的充分挖掘数据价值的范围。数据脱敏通过对数据进行脱敏，在保证数据可用性的同时，也在一定范围内保证恶意攻击者无法将数据与具体用户关联到一起，从而保证用户数据的隐私性。数据脱敏方案作为大数据平台整体数据安全解决方案的重要组成部分，是构建安全可靠的大数据平台必不可少的功能特性。本文首先分析了数据泄露可能带来的风险，然后详细介绍了数据脱敏技术的理论基础与常用算法，最后介绍了一个基于大数据平台的数据脱敏解决方案。
接下来保持住节奏，每周起码一篇paper reading，要时刻了解研究的前沿，是一个不管是工程岗位还是研究岗位AIer必备的工作，共勉！
人工智能风头正盛，无论你是支持还是怀疑，AI对这个时代的影响都已逐渐渗透到各行各业当中，哪怕身处非互联网行业，也能感受到AI的滚滚浪潮。
4.创新的预训练方法可大幅提高语言模型准确度：Similarity Sampling 和Source Prompt
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
