腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

个人分享

专栏作者

238

文章

255620

阅读量

42

订阅数

Spark之SQL解析（源码阅读十）

spark sql 数据库 hive

　　如何能更好的运用与监控sparkSQL?或许我们改更深层次的了解它深层次的原理是什么。之前总结的已经写了传统数据库与Spark的sql解析之间的差别。那么我们下来直切主题~ 　　如今的Spark已

2018-09-06

7970

spark集成hbase与hive数据转换与代码练习

spark hbase hive java apache

　　帮一个朋友写个样例，顺便练手啦~一直在做平台的各种事，但是代码后续还要精进啊。。。

2018-09-06

4640

获取表头信息

spark sql hive jdbc

代码中的使用直接通过list<Map<String,Object>> tableHead = jdbcBaseDao.getBackSimpleJdbcTemplate().queryForList(sql.toString());

2018-09-06

2K0

Hbase伪分布式

hbase 分布式存储 xml hive

然后启动hbase即可，但我发现查询时报错啊。。报错信息被刷掉了- -大概错误是：

2018-09-06

6570

spark单机模式简单搭建

spark hadoop hive 面向对象编程 bash

待安装列表 hadoop hive scala spark 一.环境变量配置： ~/.bash_profile PATH=$PATH:$HOME/bin

2018-09-06

1.3K0

hadoop-spark-hive-hbase配置相关说明

hadoop spark hive hbase zookeeper

或者 ./runRemoteCmd.sh '~/och200/zookeeper/bin/zkServer-initialize.sh --myid=1' zoo

2018-09-06

6330

Hbase与hive整合

编程算法 hive hbase TDSQL MySQL 版

//hive与hbase整合 create table lectrure.hbase_lecture10(sname string, score int) stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' whth serdeproperties("hbase.columns.mapping" = ':key,cf1:score') tblproperties("hbase.table.name" = "hbase_lecture10");

2018-09-06

8030

SparkSQL的解析详解

spark sql hive mapreduce

　　SparkSQL继承自Hive的接口，由于hive是基于MapReduce进行计算的，在计算过程中大量的中间数据要落地于磁盘，从而消耗了大量的I/O，降低了运行的效率，从而基于内存运算的SparkSQL应运而生。

2018-09-06

7590

Hive架构及Hive On Spark

hive spark 存储

(1)Table:每个表都对应在HDFS中的目录下，数据是经过序列化后存储在该目录中。同时Hive也支持表中的数据存储在其他类型的文件系统中，如NFS或本地文件系统。

2018-09-06

2K0

spark on hive 配置hive的metastore为mysql

spark hive 云数据库 SQL Server java

<property> <name>hive.metastore.uris</name> <value></value> <description>Thrift uri for the remote metastore. Used by metastore client to connect to remote metastore.</description> </property>

2018-09-06

1.6K0

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态