最近，谷歌宣布正式发布 Hive-BigQuery Connector，简化 Apache Hive 和 Google BigQuery 之间的集成和迁移。这个开源连接器是一个 Hive 存储处理程序，它使 Hive 能够与 BigQuery 的存储层进行交互。
原文地址：https://dzone.com/articles/bigquery-data-warehouse-clouds
Mike Olson(迈克尔·奥尔森) 是 Hadoop 运动背后的主要推动者，但这还远远不够，目前 Google 内部使用的大数据软件 Dremel 使大数据处理起来更加智能。
最近因为工作需要对VLDB的一些论文进行了阅读。其中包括谷歌新发表的F1数据库的分析。解读谷歌论文一直都是不太容易的。因为谷歌向来都是说一半藏一半。这篇论文相对来说还是写的比较开放的，还是不能免俗。
Cloudera Runtime（CR）服务包括Hive和Hive Metastore。Hive服务基于Apache Hive 3.x（基于SQL的数据仓库系统）。Hive 3.x与以前版本相比的增强功能可以提高查询性能并符合Internet法规。
今天为大家推荐一些翻译整理的大数据相关的学习资源，希望能给大家带来价值。
前面介绍了大数据领域里的两个主流引擎：MapReduce 和 Spark 。它们开创了历史，使得世界进入了大数据时代，让很多公司能够处理庞大的数据，并从中找到更多的有价值的东西。所以，Hadoop 刚开始兴起时，大家都兴奋于我终于能够处理这么多数据了，到后面，Hive 被 Facebook 一群人写出来的时候，大家又不用写那么复杂的 MapReduce 程序了，回到了熟悉的 SQL 的怀抱。
ELT的过程是，在抽取后将结果先写入目的地，然后利用数据库的聚合分析能力或者外部计算框架，如Spark来完成转换
java从编译到执行：java文件通过javac编译成class文件，通过JVM中ClassLoader类加载器执行class文件，一般会字节码解析器执行也可能会通过JIT编译器执行，通过执行引擎编译成机器码，由硬件处理。Java文件 -> 编译器 -> 字节码 -> JVM -> 机器码
在上一篇《面试官：你说说一条查询SQL的执行过程？》中描述了Mysql的架构分层，通过解析器、优化器和执行引擎完成一条SQL查询的过程，那这一篇续上继续说明一条更新SQL的执行过程。
自1998年成立，至今Google已走过20个年头。在这20年里，Google不断地发表一些对于自己来说已经过时甚至不再使用的技术的论文，但是发表之后总会有类似系统被业界实现出来，也足以说明google的技术至少领先业界数年。在Amazon不断引领全球云计算浪潮开发出一系列面向普罗大众的云产品的同时；Google也在不断引领构建着满足互联网时代海量数据的存储计算和查询分析需求的软硬件基础设施。
以数据洞察力为导向的企业 每年增长 30% 以上。数据有助于公司排除决策错误。团队可以利用数据结果来决定构建哪些产品、增加哪些特性以及追求哪些增长。
大数据技术的发展是一个非常典型的技术工程的发展过程，荣辛通过对于谷歌经典论文的盘点，希望可以帮助工程师们看到技术的探索、选择过程，以及最终历史告诉我们什么是正确的选择。
我们用过很多数据仓库。当我们的客户问我们，对于他们成长中的公司来说，最好的数据仓库是什么时，我们会根据他们的具体需求来考虑答案。通常，他们需要几乎实时的数据，价格低廉，不需要维护数据仓库基础设施。在这种情况下，我们建议他们使用现代的数据仓库，如Redshift, BigQuery，或Snowflake。
本文就两个问题进行讨论：1. 相比于Shark，为什么像Hive之类的传统MapReduce框架比较慢? 2. 对于细粒度的任务模型(fine-grained task model)，究竟有些什么优势
直接与文件系统交互，仅是Spark SQL数据应用常见case之一。Spark SQL另一典型场景是与Hive集成、构建分布式数仓。
假如你是一个初创公司的 CTO，想迅速推出一款面向 AP 市场可用的数据库产品，还得有差异化的功能（不然谁会用一个新产品），你会怎么做呢？
Java虚拟机（JVM）是Java应用的运行环境，从一般意义上来讲，JVM是通过规范来定义的一个虚拟的计算机，被设计用来解释执行从Java源码编译而来的字节码。更通俗地说，JVM是指对这个规范的具体实现。这种实现基于严格的指令集和全面的内存模型。另外，JVM也通常被形容为对软件运行时环境的实现。通常JVM实现主要指的是HotSpot。
Apache Hadoop：分布式处理架构，结合了 MapReduce（并行处理）、YARN（作业调度）和HDFS（分布式文件系统）；
关系数据库管理系统（RDBMS） SQLServer：世界最有活力的数据库； MySQL：世界最流行的开源数据库； PostgreSQL：世界最先进的开源数据库； Oracle 数据库：对象-关系型数据库管理系统。 框架 Apache Hadoop：分布式处理架构，结合了 MapReduce（并行处理）、YARN（作业调度）和HDFS（分布式文件系统）； Tigon：高吞吐量实时流处理框架。 分布式编程 AddThis Hydra ：最初在AddThis上开发的分布式数据处理和存储系统；
这是一篇JVM的基础篇章，大致内容为讲解JVM的入门以及初级知识，重点在于关注JVM在日常运行中充当的角色以及如何加载一个Java程序直到程序结束的整个流程梳理。
Hive是Hadoop的一个模块。它是一个用于开发SQL类型脚本执行MapReduce操作的平台。
每个容器都会被自动分配本地存储。默认情况下，容器全部文件和目录都是用该存储的。非持久存储属于容器的一部分，并且与容器的生命周期一样---容器创建时会创建非持久化存储，同时该存储也会随着容器的删除而删除。
本文档的目的是向用户介绍Alluxio存储和 在Alluxio存储空间中可以执行的操作背后的概念。 与元数据相关的操作 例如同步和名称空间，请参阅 [有关命名空间管理的页面] (…/…/en/core-services/Unified-Namespace.html)
http://blog.csdn.net/bingduanlbd/article/details/8363734
233酱工作中开始接触Presto等大数据分析场景下的内容，列式存储属于OLAP中重要的一环。这周主要花时间搜索阅读网上的相关资料，发现一众大数据、数据库开发等大佬们的总结文章，如知乎专栏：「分布式数据系统小菜」、「数据库内核」、「Presto」、「尬聊数据库」...这对我这种想要入门的小白是很好的读物。本篇文章是我主要基于上述专栏中的一些资料的笔记总结，因为能力有限，很难跳脱于本文参考资料的总结。希望本篇文章能对和我一样的小白起到科普作用，想要了解更多的小伙伴请移步以上专栏。另外，对OLAP/Presto等感兴趣的小伙伴也欢迎和233酱多多交流，一起学习进步，求抱大腿，hhh~~
JVM能够跨计算机系结构来执行JAVA字节码，主要是由于JVM屏蔽了与各个计算机平台相关的软件或硬件之间的差异，使得与平台相关的耦合统一由JVM提供者来实现。
今天的课程是关于期待已久的缓冲池的话题，其实就是 DBMS 如何管理它的内存并从磁盘来回移动数据，我们希望DBMS自己来管理这些内存与磁盘存储交换的操作，而不是把它留给操作系统。你可以从两个方面考虑数据库存储和内存管理问题：
开局一张图，前面已经从每一部分解析过JVM的内存结构【JVM笔记【1】-- 运行时数据区】了，现在按照顺序来分析：
作为一个Java程序员，我们每天都在写Java代码，我们写的代码都是在一个叫做Java虚拟机的东西上执行的。但是如果要问什么是虚拟机，恐怕很多人就会模棱两可了。在本文中，我会写下我对虚拟机的理解。因为能力所限，可能有些地方描述的不够欠当。如果你有不同的理解，欢迎交流。
什么是Java虚拟机 作为一个Java程序员，我们每天都在写Java代码，我们写的代码都是在一个叫做Java虚拟机的东西上执行的。但是如果要问什么是虚拟机，恐怕很多人就会模棱两可了。在本文中，我会写下我对虚拟机的理解。因为能力所限，可能有些地方描述的不够欠当。如果你有不同的理解，欢迎交流。 我们都知道java程序必须在虚拟机上运行。那么虚拟机到底是什么呢？先看网上搜索到的比较靠谱的解释： 虚拟机是一种抽象化的计算机，通过在实际的计算机上仿真模拟各种计算机功能来实现的。Java虚拟机有自己完善的硬体架构，如处
1. Java 堆（Java Heap）： （1）是Java虚拟机所管理的内存中最大的一块。 （2）在虚拟机启动的时候创建。堆是jvm所有线程共享的。 （3）唯一目的就是存放对象实例，几乎所有的对象实例以及数组都要在这里分配内存。
在Java的世界里，Java虚拟机（JVM）扮演着至关重要的角色。它不仅是Java程序运行的环境，更是实现“一次编写，到处运行”的关键。本文将深入探讨JVM的核心组成部分，从类加载到执行引擎，解开JVM神秘的面纱。
Doug Cutting启动了一个赫赫有名的项目Hadoop，主要包括Hadoop分布式文件系统HDFS和大数据计算引擎MapReduce，分别实现了GFS和MapReduce其中两篇论文
可以采用 Dockerfile 来构建镜像。Dockerfile 描述了构建的每个步骤，每个构建步骤会带来文件系统内容的变化，也就是 changeset。就像洋葱一样，一层一层的。这样也会带来一个问题，对镜像的改动越多，会导致镜像文件体积越大。
根据Hadoop官网的相关介绍和实际使用中的软件集，将Hadoop生态圈的主要软件工具简单介绍下，拓展对整个Hadoop生态圈的了解。
如果你使用的是centOS系统，或者支持yum的系统，那么可以通过如下方式进行安装：
在上一篇文章中，我通过探讨类的生命周期，为你详细解析了类在加载进JVM时的全过程。当然，这仅仅只是JVM虚拟机的冰山一角，像执行引擎的动态编译、垃圾回收系统的内存管理、本地方法接口的与本地库的交互，以及本地方法库的结构和功能等诸多核心内容还未涉及。
先回忆一下前面几节内容：一个.java文件经Javac编译器编译为.class文件(字节码文件)， 当我们使用java命令执行该class文件时(HotSpot为例)，首先会创建JVM实例，开辟内存空间，然后由类加载器将相应的字节码文件加载到虚拟机内存中，最后找到程序执行入口的main函数， 由JVM创建的main线程调用main函数（线程为执行引擎的的一个实例，并为该线程绑定程序计数器，虚拟机栈），main函数调用的过程中会先创建一个main帧，根据编译时期就已经确定的局部变量数组和操作数栈的大小分配内存空间， 将内存空间清零，将main帧压入main线程虚拟机栈中，main帧执行过程中，如遇到其他方法调用，同样会将调用的方法封装为栈帧压入栈中。
最近翻看了java线程相关的东西，书中有一边专门讲到java内存模型，读完之后边回想起java虚拟机模型，那时心中便在思考java内存模型（以下简称jmm）和java虚拟机模型（以下简称jvm）之间的关系，下面将详细讲述。
1）运行时数据区：经过编译生成的字节码文件（class文件），由class loader(类加载子系统)加载后交给执行引擎执行。在执行引擎执行的过程中产生的数据会存储在一块内存区域。这块内存区域就是运行时区域
题图摄于北京颐和园 （未经授权，请勿转载本公众号文章） 上篇文章和大家说到 Kubernetes 无法根本性移除 Docker的影响，原因是 Docker 发明的镜像格式极具革命性，无可替代。不管 Kubernetes 那边风吹浪打，Docker 我自巍然不动。从本篇开始和大家说说镜像那些事，共分四次连载，从《Harbor权威指南》一书节选的纯技术干货，敬请关注、转发和收藏。 第一篇：容器镜像的结构 第二篇：OCI 镜像规范 第三篇：OCI 制品 第四篇：Registry 的作用原理 《Harbor权威指
另外，小编也有根据以下总结内容，录制了对JVM讲解视频。里面有个用visio画的JVM内部结构图，每部分的作用都有详细讲解，希望能有帮助。网址：https://edu.csdn.net/lecturer/board/10494
所谓java能实现跨平台，是因为在不同平台上运行不同的虚拟机决定的，因此java文件的执行不直接在操作系统上执行，而是通过jvm虚拟机执行，我们可以从这张图看到，JVM并没有直接与硬件打交道，而是与操作系统交互用以执行java程序。
年新职责，上周开了几天的公司planning的会，接下来的六个月因为要负责关系公司生死存亡的一个重要项目的一大块，估计工作会越来越忙，留给我安心写作的时间也会大量减少。加上最近看着自己辛辛苦苦写出来的文章一直维持在不到1000的阅读，几十个赞，几十块人民币的赞赏，有时候也不知道是自己宣传不到位还是自己的水平有限，写作动力和状态都比较低迷。两者一结合更新频率会慢一些。 对于那些喜欢读我文章的读者，还请见谅耐心等等，一篇文章要写好了，是需要很多时间精力，以及写作状态。写出不好的文章来，其实还不如给自己多点时间写
最近 Google 发表了一篇《F1 Query: Declarative Querying at Scale》的论文来详细阐述了一个叫做 F1 Query 的大数据处理系统的设计。F1 Query 是Google内部进行异构查询的引擎，它支持对各种不同的文件格式、各种不同的存储系统( Bigtable, Spanner, Google Spreadsheets ) 的数据进行联合查询。听起来跟 Presto 很像对吧，这确实也是我看到这篇论文介绍的第一反应，但是随着你看得更深入一点你就会发现这篇论文的着重点完全不在于对多数据源的支持，它甚至完全没有描述是怎么做到支持多种不同异构数据源的。F1 Query 更引以为傲的是:
ClassLoader使用的是双亲委托模型来搜索类的，每个ClassLoader实例都有一个父类加载器的引用（不是继承的关系，是一个包含的关系），虚拟机内置的类加载器（Bootstrap ClassLoader）本身没有父类加载器，但可以用作其它ClassLoader实例的的父类加载器。
(1)Table:每个表都对应在HDFS中的目录下，数据是经过序列化后存储在该目录中。同时Hive也支持表中的数据存储在其他类型的文件系统中，如NFS或本地文件系统。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
