行者悟空-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

行者悟空

专栏成员

51

文章

82045

阅读量

22

订阅数

Apache Hive 安装详解及相关问题解决方案

apache hive 云数据库 SQL Server mapreduce spark

摘要本文介绍hive工具的安装及整合mysql 下载Hive 点击hive官方下载 hive目前两个运行版本分为两个分支：1.x 、2.x 1.x主要是运行在MapReduce上面。 2.x主要运行在Spark上面。安装及配置上传并解压Hive 将Hive上传到hadoop集群服务器/itunic/目录下，并解压到当前目录。 tar -zxvf apache-hive-1.2.1-bin.tar.gz 2.将hive配置到环境变量 vi /etc/profile #set hive env ex

2018-06-22

6330

以编程方式执行Spark SQL查询的两种实现方式

spark sql apache

摘要在自定义的程序中编写Spark SQL查询程序 1.通过反射推断Schema package com.itunic.sql import org.apache.spark.sql.SQLContext import org.apache.spark.{SparkConf, SparkContext} /** * Created by itunic.com on 2017/1/2. * Spark SQL * 通过反射推断Schema * by me: * 我本沉默是关注互联

2018-06-22

2K0

利用Apache Spark实现pv统计分析

摘要本文将介绍通过Apache Spark实现离线统计网站每日pv的思路及代码。需求将数据按照域名分组，然后按照日期升序排序，点击量降续排序。代码及思路 ** * 简单的pv统计 */ object PageView { def main(args: Array[String]): Unit = { if (args.length < 2) { System.err.println("Usage: <file>") System.exit(1)

2018-06-22

4210

Apache Zookeeper集群搭建（简化版）

apache zookeeper

摘要本文介绍zookeeper超快速、超简单的搭建集群。安装配置步骤 1，解压zookeeper tar -zxvf zookeeper-3.4.9.tar.gz -c /itunic/ 2，配置zookeeper cd /itunic/zookeeper-3.4.9/conf/ #拷贝一个模板文件 cp zoo_sample.cfg zoo.cfg #编辑 vi zoo.cfg #将dataDir=/tmp/zookeeper 修改为 dataDir=/zookeeper-3.4.9/tmp #在

2018-06-22

4540

利用Spark通过nginx日志离线统计网站每日pv

spark nginx apache mapreduce

摘要本文将介绍通过Apache Spark实现离线统计网站每日pv的思路及代码。前言在此之前，利用mapreduce实现了一版通过nginx日志离线分析网站每日pv，感兴趣的可以去看一下。本文实现思路与之前mapreduce的思路一致。可以很好的比较mapreduce和Spark的写法。在个人看来，Spark写起来更加优美简洁，有一种四两拨千斤的感觉。想了解实现思路的，可以看一下利用Mapreduce实现的文章，详细思路已经阐述。点击查看->利用HadoopMareduce实现pv统计分析本

2018-06-22

1.9K0

HBase集群搭建与调优（持续更新）

hbase hadoop zookeeper apache

摘要 hbase集群搭建与调优。前言本文持续更新中，主要因为我也是在工作中逐渐探索中，所以在工作中遇到的配置调优，都将第一时间更新到本文中，用作以后标准配置。版本介绍本文基于当前最稳定兼容版本如下： hadoop-2.7.3 hbase-1.2.5 zookeeper-3.4.10 配置文件介绍 Apache HBase使用与Apache Hadoop相同的配置系统，所有配置文件都位于conf/目录中。该目录需要与集群中的每个节点保持同步。 backup-masters 纯文本文件，用于描述备

2018-06-22

1.1K0

java实现Kafka生产者Producer工具类

java jdk apache json

摘要本文将介绍java实现Kafka生产者Producer的简单工具类相关版本 kafka：kafka_2.10-0.10.1.1 jdk：1.7 相关代码实现 package com.itunic.util; import java.util.List; import java.util.Map; import java.util.Properties; import org.apache.kafka.clients.producer.KafkaProducer; import org.apa

2018-06-22

4.8K0

没有更多了

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态