首页
学习
活动
专区
工具
TVP
发布

大数据实战演练

专栏作者
156
文章
534329
阅读量
60
订阅数
如何优雅地使用 java 连接 HBase 客户端
java 远程连接 HBase 客户端,大体分为两种方式。一种是长连接,一种是短连接。
create17
2022-11-17
2.9K0
Java 实现 FastDFS 实现文件的上传、下载、删除
上述方法就是将图片的 base64 码进行转换并上传到了 fastdfs 上。以下是可复制粘贴的源码:
create17
2020-03-12
3.3K0
HBase 集成 Phoenix 构建二级索引实践
Phoenix 在 HBase 生态系统中占据了非常重要的地位,本文主要包括以下几方面内容:
create17
2020-02-18
2K1
Kylin配置Spark并构建Cube(修订版)
在运行 Spark cubing 前,建议查看一下这些配置并根据集群的情况进行自定义。下面是建议配置,开启了 Spark 动态资源分配:
create17
2019-09-05
8460
Sqoop1.4.7实现将Mysql数据与Hadoop3.0数据互相抽取
将 mysql 数据库中的 hive 数据库中的 ROLES 表数据导入到 HDFS 中的 /tmp/root/111 目录下。执行代码如下:
create17
2019-08-05
2.3K0
HBase应用(一):数据批量导入说明
前两种方式:需要频繁的与数据所存储的 RegionServer 通信,一次性导入大量数据时,可能占用大量 Regionserver 资源,影响存储在该 Regionserver 上其他表的查询。
create17
2019-06-15
3.7K0
Python生成HBase 10w+ 条数据说明
以下为 python 生成 hbase 测试数据的全部代码,generatedata.py 文件内容如下:
create17
2019-06-11
1.7K4
如何将Hive与HBase整合联用
之前学习 HBase 就有疑惑,HBase 虽然可以存储数亿或数十亿行数据,但是对于数据分析来说,不太友好,只提供了简单的基于 Key 值的快速查询能力,没法进行大量的条件查询。
create17
2019-05-28
3K0
HBase原理(一):架构理解
Apache HBase 是基于 Hadoop 构建的一个分布式的、可伸缩的海量数据存储系统。常被用来存放一些海量的(通常在TB级别以上)、结构比较简单的数据,如历史订单记录,日志数据,监控 Metrics 数据等等,HBase 提供了简单的基于 Key 值的快速查询能力。
create17
2019-05-28
1.2K0
【生活现场】从洗袜子到HBase存储原理解析
小史是一个非科班的程序员,虽然学的是电子专业,但是通过自己的努力成功通过了面试,现在要开始迎接新生活了。
create17
2019-05-14
7970
如何使用C++通过thrift访问HBase进行操作
上周六,接了一个紧急任务,说实现使用 C++ 访问 HBase 进行操作。说是用 thrift 来实现。对于 C++ 来说,我真的是门外汉,但需求如此,皱着眉头也要把它实现。好歹在同事的帮助下,也是实现了 demo 示例,现在就把这两天的成果分享给大家。
create17
2019-05-14
3.1K0
HBase二次开发之搭建HBase调试环境,如何远程debug HBase源代码
之前的文章也提到过,最近工作中需要对HBase进行二次开发(参照HBase的AES加密方法,为HBase增加SMS4数据加密类型)。研究了两天,终于将开发流程想清楚并搭建好了debug环境,所以就迫不及待地想写篇文章分享给大家。
create17
2019-05-09
1.5K0
HBase配置AES加密
为了避免第三方非法访问我们的重要数据,我们可以给HBase配置加密算法,目前HBase只支持使用aes加密算法,用于保护静态的HFile和WAL数据。
create17
2019-05-06
4K1
Kylin集群模式部署(使用同一HBase存储)
本文主要讲解如何部署Kylin集群,采取多个Kylin实例共享HBase存储的模式,如果需要事先了解Kylin基本概念的朋友可以查看《Apache Kylin基本原理及概念》。
create17
2019-04-17
2.1K5
Apache Kylin目录详解
Kylin 会在 HDFS 上生成文件,根目录是 “/kylin” (可以在conf/kylin.properties中定制),然后会使用 Kylin 集群的元数据表名作为第二层目录名,默认为 “kylin_metadata”。
create17
2019-04-17
1.2K0
HUE简介及编译
Hue是一个开源的Apache Hadoop UI系统,最早是由Cloudera Desktop演化而来,由Cloudera贡献给开源社区,它是基于Python Web框架Django实现的。通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据,例如操作HDFS上的数据,运行MapReduce Job等等。很早以前就听说过Hue的便利与强大,一直没能亲自尝试使用,下面先通过官网给出的特性,通过翻译原文简单了解一下Hue所支持的功能特性集合:
create17
2019-03-12
3.7K0
HBase的ACL说明
特别说明:该专栏文章均来源自微信公众号《大数据实战演练》,欢迎关注!
create17
2019-02-14
2.7K0
Kylin基本原理及概念
“带你走进Apache Kylin的世界”
create17
2019-01-23
2.7K0
ambari的服务启动顺序如何设置
角色是组件的另一个名称(例如:NAMENODE,DATANODE,RESOURCEMANAGER,HBASE_MASTER等)。 顾名思义,可以告诉Ambari关于应该为堆栈中定义的组件运行命令的顺序。 例如:“应在启动NameNode之前启动ZooKeeper服务器”。或者“只有在NameNode和DataNodes启动后才能启动HBase Master”。 这可以通过在stack-version文件夹中包含role_command_order.json文件来指定。
create17
2018-12-13
3.3K0
没有更多了
社区活动
腾讯技术创作狂欢月
“码”上创作 21 天,分 10000 元奖品池!
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档