1. DeepMind发布2017年的回顾blog，总结今年在多个方面取得的进展，比如AlphaGo Zero，Parallel WaveNet（比最早的WaveNet快了100倍，用来产生Google Assistant的语音），基于进化算法的增强学习和神经网络架构搜索，基于概率分布的增强学习（那篇paper很值得一读），已经基于imagination的model-based增强学习（跟Yann LeCun说的predictive learning有点像）等等 blog链接：https://deepmin
最近，谷歌宣布正式发布 Hive-BigQuery Connector，简化 Apache Hive 和 Google BigQuery 之间的集成和迁移。这个开源连接器是一个 Hive 存储处理程序，它使 Hive 能够与 BigQuery 的存储层进行交互。
去年9月份，谷歌为Hadoop和Spark推出了Cloud Dataproc服务的beta版本，如今半年过去了，Cloud Dataproc服务已完成测试，现在可以被广泛使用。 谷歌在旧金山的一次活
【新智元导读】谷歌BigQuery的公共大数据集可提供训练数据和测试数据，TensorFlow开源软件库可提供机器学习模型。运用这两大谷歌开放资源，可以建立针对特定商业应用的模型，预测用户需求。 Lak Lakshmanan 是谷歌云服务团队的大数据与机器学习专业服务成员，他在谷歌云平台写了下文，以帮助用户使用谷歌云预测商业需求。 所有商业业务都会设法预测客户需求。如果你开饭馆，你需要预测明天要做多少桌饭、顾客会点哪些菜，这样你才能知道需要购买那些食材、厨房需要多少人手。如果你卖衬衫，你要提前预测，你应该从
Parquet是可用于Hadoop生态系统中任何项目的开源文件格式。与基于行的文件（例如CSV或TSV文件）相比，Apache Parquet旨在提供高效且高性能的扁平列式数据存储格式。
注：本文专用于2019年3月29日前的谷歌云专业数据工程师认证考试。此后我也做了一些更新，放在了Extras的部分。
Parquet 是一种开源文件格式，用于处理扁平列式存储数据格式，可供 Hadoop 生态系统中的任何项目使用。 Parquet 可以很好地处理大量复杂数据。它以其高性能的数据压缩和处理各种编码类型的能力而闻名。与基于行的文件（如 CSV 或 TSV 文件）相比，Apache Parquet 旨在实现高效且高性能的平面列式数据存储格式。
2017年大数据开始进入部署阶段，大数据的炒作逐渐散去，它的应用却正在蓬勃发展，代表成熟度的标志性IPO也正在出现。而大数据在几年前经历的泡沫正在无可争议地转移到人工智能身上，过去几个月AI所经历的共同意识“大爆炸”与大数据当年相比甚至有过之而无不及。从2013开始制作大数据版图的Matt Turck刚刚发布了最新的2017年大数据版图，我们一起来看看在这个领域有哪些最新趋势和玩家的分布情况。 高层趋势 大数据+AI=新栈 2016年无疑是机器学习之年，任何目睹过众多pitch的VC都应该能感受到这一点，那
作者 | Romit Mehta、Vaishali Walia 和 Bala Natarajan
Google在今年Next大会中发布了一系列支援机器学习生命周期各阶段的工具，其中包括了AI平台笔记本，这是一个代管服务，供使用者以最新的资料科学与机器学习开发框架，创建JupyterLab执行个体服务，现在Google宣布在AI平台笔记本支援R语言。
王小新 编译自 Google Cloud Blog 量子位 出品 | 公众号 QbitAI 你们程序员啊，连带娃都这么技术流…… 今年夏天，谷歌云负责维护开发者关系的Kaz Sato带着他的儿子，用一些传感器和一个简单的机器学习线性模型，开发了一个“猜拳机器”，能检测石头剪刀布的手势。 最近他还还根据这个过程写了一份教程，详细介绍了怎样构建这个机器，以及怎样用机器学习算法解决日常问题。 量子位搬运编译整理如下，适合有一定编程基础的同学，需要大约200美元的硬件设备。 我们先来看一下这个机器： 上面视频中，
在本节中，我们将介绍 Google Cloud Platform（GCP）上的无服务器计算基础。 我们还将概述 GCP 上可用的 AI 组件，并向您介绍 GCP 上的各种计算和处理选项。
目前云驱动数据处理和分析呈上升趋势，我们在本文中来分析下，Apache Hadoop 在 2019 年是否还是一个可选方案。
明敏 发自 凹非寺 量子位 | 公众号 QbitAI 说出你的研究思路，就能给你推荐合适的数据集： 当然还可自己按需检索，同时标出不同数据集的热度： 更厉害的是能直接帮你分析数据集。 语料中是否包含仇恨言论、性别歧视语料等，所占比例是多少，通通都能告诉你。 以上，是一个名叫DataLab的通用数据处理平台。 它包含1715个数据集，提供数据诊断、数据搜索、全局分析、标准化处理4方面的功能。 不仅可以帮助用户分析数据的特征，还能对不同数据集进行标准化处理。 其幕后打造者之一为卡内基梅隆大学博士后刘鹏飞
时隔半年不到，PyTorch 已经从之前的 1.0 升级到 1.1 版本了。刚刚，Facebook 在年度开发者大会 F8 上宣布正式发布 PyTorch 1.1 版本，这是对 PyTorch 1.0 的一次大的功能升级。
自从计算机出现以来，我们一直在尝试寻找计算机存储一些信息的方法，存储在计算机上的信息（也称为数据）有多种形式，数据变得如此重要，以至于信息现在已成为触手可及的商品。多年来数据以多种方式存储在计算机中，包括数据库、blob存储和其他方法，为了进行有效的业务分析，必须对现代应用程序创建的数据进行处理和分析，并且产生的数据量非常巨大！有效地存储数PB数据并拥有必要的工具来查询它以便使用它至关重要，只有这样对该数据的分析才能产生有意义的结果。
机器之心专栏 作者：刘鹏飞 以数据为中心，实现各种不同操作接口的标准化，使得用户在数据处理上只需要有一个入口，这就是 DataLab 期待扮演的角色。 建立以数据为中心的人工智能已经成为一个正在到来的趋势。一年多前，吴恩达开始发起的一项主题为「数据是人工智能的食物」运动。数月前，谷歌 AI 负责人 Jeff Dean 将数据的分析和管理列为 2021 年后机器学习的一大趋势。不久前，AI 明星创业公司 Huggingface 宣布开始建立可交互的数据分析平台计划。 近日，CMU 联合 NUS、复旦、耶鲁等
NCAA (National Collegiate Athletic Association)，是由美国大学院校所结盟的一个体育协会，举办各种体育项目联赛，其中最受关注的是上半年的篮球联赛和下半年的橄榄球联赛，NCAA 的男篮锦标赛的舞台向来是 NBA 球星的摇篮，雷阿伦、穆大叔、小甜瓜安东尼、杜兰特等，当年都是 NCAA 的明星球员。
按要求转载自36Kr 编译 | boxi 说到最近几年最热门的技术流行语，少不了云计算、大数据、人工智能、物联网等热词。不过，尽管人人（至少是企业界）言必称大数据，但是其在企业的采用周期要远远滞后于炒作周期。所以大数据从新奇酷的技术变成核心系统，从炒作到产品部署往往需要几年的时间。从去年开始，大家越来越感觉到这项技术已经在某种程度上陷入了停滞。不过好消息是，2017年大数据开始进入部署阶段，大数据的炒作逐渐散去，但它的应用却正在蓬勃发展，代表成熟度的标志性IPO也正在出现。而大数据在几年前经历的泡沫正在无可
近年来，“云服务”越来越受到企业的欢迎，在提供商公司业务上的比重也越来越大。当今云服务市场竞争者主要有四大巨头，分别为亚马逊、微软、IBM和谷歌。 就在昨天，谷歌宣布已经收购了云市场平台创业公司Orb
在 0.11.0 中，我们默认为 Spark writer 启用具有同步更新的元数据表和基于元数据表的file listing，以提高在大型 Hudi 表上的分区和文件 listing 的性能。在reader方面，用户需要将其设置为 hoodie.metadata.enable = true 以从中受益。元数据表和相关文件listing 仍然可以通过设置hoodie.metadata.enable=false来关闭此功能。因此，使用异步表服务部署 Hudi 的用户需要配置锁服务。如果无需使用此功能，可以通过额外设置这个配置 hoodie.metadata.enable = false 像以前一样使用 Hudi。
Kubernetes已在容器编排之战中取胜，未来很可能会成为“多云”之上的标准层，进而为分布式系统的分发和运行带来根本性的改变。
内容来源：2017 年 11 月 19 日，谷歌开发者专家王玉成在“2017谷歌开发者节北京站”进行《Android Things系统结构及展望》演讲分享。IT 大咖说（微信id：itdakashuo）作为独家视频合作方，经主办方、演讲者审阅授权发布。 阅读字数：3266 | 9分钟阅读 摘要 Android Things的功能，整体框架，以及软件开发调试环境介绍。Google IoT Core介绍，以及现有的基于Android Things的项目概览。 嘉宾演讲视频及PPT回顾：http://suo.i
在 0.11.0 中，默认为 Spark writer 启用具有同步更新的元数据表和基于元数据表的file listing，以提高在大型 Hudi 表上的分区和文件listing的性能。在reader方面，用户需要将其设置为 true 以从中受益。元数据表和相关文件listing 仍然可以通过设置hoodie.metadata.enable=false来关闭此功能。因此，使用异步表服务部署 Hudi 的用户需要配置锁服务。如果此功能与您无关，您可以通过额外设置这个配置 hoodie.metadata.enable=false 像以前一样使用 Hudi。
【前言】作为中国的 “Fivetran/Airbyte”, Tapdata 是一个以低延迟数据移动为核心优势构建的现代数据平台，内置 60+ 数据连接器，拥有稳定的实时采集和传输能力、秒级响应的数据实时计算能力、稳定易用的数据实时服务能力，以及低代码可视化操作等。典型用例包括数据库到数据库的复制、将数据引入数据仓库或数据湖，以及通用 ETL 处理等。 随着 Tapdata Connector 的不断增长，我们最新推出《Tapdata Connector 实用指南》系列内容，以文字解析辅以视频演示，还原技术实现细节，模拟实际技术及应用场景需求，提供可以“收藏跟练”的实用专栏。本期实用指南以 SQL Server → BigQuery 为例，演示数据入仓场景下，如何将数据实时同步到 BigQuery。
普元云计算架构师宋潇男点评： Kubernetes已在容器编排之战中取胜，未来很可能会成为“多云”之上的标准层，进而为分布式系统的分发和运行带来根本性的改变，而其自身则会慢慢变得像Linux Kernel一样，成为一种系统底层的支撑，不再引人注目。 原文的标题是The Gravity of Kuberrnetes，但是从内容上看，更像是近些年流行的“XXX is dead. Long live XXX.”的风格，所以在翻译标题的时候我们恶搞了一下。 本文金句： 通过Kubernetes，分布式系统工具将拥有
文 | Jeff Meyerson Kubernetes 已在容器编排之战中取胜，未来很可能会成为“多云”之上的标准层，进而为分布式系统的分发和运行带来根本性的改变，而其自身则会慢慢变得像 Linux Kernel 一样，成为一种系统底层的支撑，不再引人注目。 本文金句： 通过 Kubernetes，分布式系统工具将拥有网络效应。每当人们为 Kubernetes 制作出的新的工具，都会让所有其他工具更完善。因此，这进一步巩固了 Kubernetes 的标准地位。 云提供商并非可替换的商品。不同的云提
Chang Stream(变更记录流) 是指collection(数据库集合)的变更事件流，应用程序通过db.collection.watch()这样的命令可以获得被监听对象的实时变更。BigQuery是Google推出的一项Web服务，该服务让开发者可以使用Google的架构来运行SQL语句对超级大的数据库进行操作。
转载声明：本文转载自「EAWorld」，搜索「eaworld」即可关注。 原文标题：The Gravity of Kubernetes 原文作者：Jeff Meyerson 普元云计算架构师宋潇男点评： Kubernetes已在容器编排之战中取胜，未来很可能会成为“多云”之上的标准层，进而为分布式系统的分发和运行带来根本性的改变，而其自身则会慢慢变得像Linux Kernel一样，成为一种系统底层的支撑，不再引人注目。 原文的标题是The Gravity of Kuberrnetes，但是从内容上看，更
我们的一个客户遇到了一个 MySQL 问题，他们有一张大表，这张表有 20 多亿条记录，而且还在不断增加。如果不更换基础设施，就有磁盘空间被耗尽的风险，最终可能会破坏整个应用程序。而且，这么大的表还存在其他问题：糟糕的查询性能、糟糕的模式设计，因为记录太多而找不到简单的方法来进行数据分析。我们希望有这么一个解决方案，既能解决这些问题，又不需要引入高成本的维护时间窗口，导致应用程序无法运行以及客户无法使用系统。在这篇文章中，我将介绍我们的解决方案，但我还想提醒一下，这并不是一个建议：不同的情况需要不同的解决方案，不过也许有人可以从我们的解决方案中得到一些有价值的见解。
使用 Kafka，如何成功迁移 SQL 数据库中超过 20 亿条记录？我们的一个客户遇到了一个 MySQL 问题，他们有一张大表，这张表有 20 多亿条记录，而且还在不断增加。如果不更换基础设施，就有磁盘空间被耗尽的风险，最终可能会破坏整个应用程序。而且，这么大的表还存在其他问题：糟糕的查询性能、糟糕的模式设计，因为记录太多而找不到简单的方法来进行数据分析。我们希望有这么一个解决方案，既能解决这些问题，又不需要引入高成本的维护时间窗口，导致应用程序无法运行以及客户无法使用系统。在这篇文章中，我将介绍我们的解决方案，但我还想提醒一下，这并不是一个建议：不同的情况需要不同的解决方案，不过也许有人可以从我们的解决方案中得到一些有价值的见解。
原文标题：The Gravity of Kubernetes 原文作者：Jeff Meyerson 普元云计算架构师宋潇男点评： Kubernetes已在容器编排之战中取胜，未来很可能会成为“多云”之上的标准层，进而为分布式系统的分发和运行带来根本性的改变，而其自身则会慢慢变得像Linux Kernel一样，成为一种系统底层的支撑，不再引人注目。 原文的标题是The Gravity of Kuberrnetes，但是从内容上看，更像是近些年流行的“XXX is dead. Long live XXX.”
•每个任务都需要获取锁然后执行数据构建逻辑，不管构建逻辑是否成功执行TASK结束时必须释放锁•[NODE-TASK]负责锁的node_check-point更新以及后续任务的rel_check_point同步•[REL-TASK]负责node_check-point的回滚和任务状态同步rel_check_point=node_check_point
问题导读 1.Dataflow当前的API支持什么语言？ 2.相比原生的map-reduce模型，Dataflow哪些优点？ 3.Dataflow与Cascading、Spark有什么区别和联系？ 介绍 Google Cloud Dataflow是一种构建、管理和优化复杂数据处理流水线的方法，集成了许多内部技术，如用于数据高效并行化处理的Flume和具有良好容错机制流处理的MillWheel。Dataflow当前的API还只有Java版本（其实Flume本身是提供Java/C++/Python多种接
机器之心报道 编辑：shanshan 又一位技术大牛出来创业了! 9 月 13 日，卡内基梅隆大学副教授 Graham Neubig 在 Twitter 上宣布，与 @stefan_fee 和 @odashi_en 一起成立了 Inspired Cognition 公司！ 「我们的目标是通过工具和专业知识，让构建 AI 系统（尤其是 NLP）变得更容易、更高效。」 1、致力于优化 AI 系统开发 人工智能 (AI) 正在成为与软件一样推动世界进步的力量。然而，与传统的软件工程不同，人工智能工程引入了各种
作者 | Steef-Jan Wiggers 译者 | 明知山 策划 | 丁晓昀 最近，谷歌宣布 Bigtable 联邦查询普遍可用，用户通过 BigQuery 可以更快地查询 Bigtable 中的数据。此外，查询无需移动或复制所有谷歌云区域中的数据，增加了联邦查询并发性限制，从而缩小了运营数据和分析数据之间长期存在的差距。 BigQuery 是谷歌云的无服务器、多云数据仓库，通过将不同来源的数据汇集在一起来简化数据分析。Cloud Bigtable 是谷歌云的全托管 NoSQL 数据库，主要用
原文地址：https://dzone.com/articles/bigquery-data-warehouse-clouds
在过去的几年里，数据工程领域的重要性突飞猛进，为加速创新和进步打开了大门——从今天开始，越来越多的人开始思考数据资源以及如何更好地利用它们。这一进步反过来又导致了数据技术的“第三次浪潮”。“第一次浪潮”包括 ETL、OLAP 和关系数据仓库，它们是商业智能 (BI) 生态系统的基石，无法应对大数据的4V[1]的指数增长。由于面向 BI 的栈的潜力有限，我们随后见证了“第二次浪潮”：由于 Hadoop 生态系统（允许公司横向扩展其数据平台）和 Apache Spark（为大规模高效的内存数据处理打开了大门）。
基于check-point实现图数据构建任务针对这篇文章提出的方案增加了数据分块操作与任务状态回滚操作。 数据分块：控制加载到内存的数据量，避免占用过多堆内存保证图数据库可靠运行。 任务状态回滚：回滚到构建节点的任务状态，下一次构建节点关系时从回滚点开始操作【构建任务分为节点TASK和关系TASK，任务回滚操作是在关系TASK中进行回滚】。
《CSAPP》是指计算机系统基础课程的经典教材《Computer Systems: A Programmer's Perspective》，由Randal E. Bryant和David R. O'Hallaron编写。该书的主要目标是帮助深入理解计算机系统的工作原理，包括硬件和软件的相互关系，其涵盖了计算机体系结构、汇编语言、操作系统、计算机网络等主题，旨在培养学生系统级编程和分析的能力。
维基百科pageview数据是Wikimedia技术团队所维护的访问量数据集。该数据集自2015年五月启用，其具体的pageview定义为对某个网页内容的请求，会对爬虫和人类的访问量进行区分，粒度为小时级别，如下图：
•一、DataFrame•二、指定字段转换为DataFrame •2.1 CYPHER语句 •2.2 Python转换代码•三、将一个图转换为DataFrame •3.1 CYPHER语句 •3.2 Python转换代码
最近随着Snowflake上市后市值的暴增（目前700亿美金左右），整个市场对原生云数仓都关注起来。近日，一家第三方叫GigaOM的公司对主流的几个云数仓进行了性能的对比，包括Actian Avalanche、Amazon Redshift、Microsoft Azure Synapse、Google BigQuery、Snowflake，基本涵盖了目前市场上主流的云数仓服务。
作者 | Jordan Tigani 译者 | 红泥 策划 | 李冬梅 随着云计算时代的发展，大数据实际已经不复存在。在真实业务中，我们对大数据更多的是存储而非真实使用，大量数据现在已经变成了一种负债，我们在选择保存或者删除数据时，需要充分考虑可获得价值及各种成本因素。 十多年来，人们一直很难从数据中获得有价值的参考信息，而这被归咎于数据规模。“对于你的小系统而言，你的数据量太庞大了。”而解决方案往往是购买一些可以处理大规模数据的新机器或系统。但是，当购买了新的设备并完成迁移后，人们发现仍然难以处
我们用过很多数据仓库。当我们的客户问我们，对于他们成长中的公司来说，最好的数据仓库是什么时，我们会根据他们的具体需求来考虑答案。通常，他们需要几乎实时的数据，价格低廉，不需要维护数据仓库基础设施。在这种情况下，我们建议他们使用现代的数据仓库，如Redshift, BigQuery，或Snowflake。
今天看到了一篇 AI前线的文章谷歌BigQuery ML正式上岗，只会用SQL也能玩转机器学习！。正好自己也在力推 StreamingPro的MLSQL。 今天就来对比下这两款产品。
说到最近几年最热门的技术流行语，少不了云计算、大数据、人工智能、物联网等热词。不过，尽管人人（至少是企业界）言必称大数据，但是其在企业的采用周期要远远滞后于炒作周期。所以大数据从新奇酷的技术变成核心系统，从炒作到产品部署往往需要几年的时间。从去年开始，大家越来越感觉到这项技术已经在某种程度上陷入了停滞。不过好消息是，2017年大数据开始进入部署阶段，大数据的炒作逐渐散去，但它的应用却正在蓬勃发展，代表成熟度的标志性IPO也正在出现。而大数据在几年前经历的泡沫正在无可争议地转移到人工智能身上，过去几个月AI所
以数据洞察力为导向的企业 每年增长 30% 以上。数据有助于公司排除决策错误。团队可以利用数据结果来决定构建哪些产品、增加哪些特性以及追求哪些增长。
区块链技术和加密货币在吸引越来越多的技术、金融专家和经济学家们眼球的同时，也给与了他们无限的想象空间。从根本上来说，加密货币只是底层区块链技术的应用之一，而伴随着区块链技术的不断突破与发展，“区块链+”这一概念正在不断地深入人心。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
