腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
圈层
工具
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
圈层
工具
返回腾讯云官网
IfDataBig
专栏成员
举报
48
文章
38208
阅读量
12
订阅数
订阅专栏
申请加入专栏
全部文章(48)
大数据(15)
spark(13)
hbase(9)
flink(9)
java(8)
sql(8)
TDSQL MySQL 版(8)
api(7)
kafka(7)
编程算法(6)
zookeeper(6)
python(5)
数据库(5)
文件存储(5)
hadoop(5)
node.js(4)
http(4)
存储(4)
jdk(4)
scala(3)
打包(3)
ide(3)
jar(3)
apache(3)
windows(3)
javascript(2)
bash(2)
html(2)
maven(2)
unix(2)
专用宿主机(2)
网站(2)
shell(2)
数据处理(2)
https(2)
任务调度(2)
xml(1)
css(1)
云数据库 SQL Server(1)
云数据库 Redis®(1)
git(1)
linux(1)
bash 指令(1)
spring(1)
批量计算(1)
日志数据(1)
yarn(1)
分布式(1)
缓存(1)
网络安全(1)
html5(1)
hive(1)
mybatis(1)
yum(1)
spring boot(1)
单元测试(1)
gradle(1)
数据分析(1)
sdk(1)
搜索文章
搜索
搜索
关闭
3.Zookeeper常用Shell命令
zookeeper
查看节点列表有 ls path 和 ls2 path 两个命令,后者是前者的增强,不仅可以查看指定路径下的所有节点,还可以查看当前节点的信息。
每天进步一点点
2022-12-15
389
0
4.Azkaban Flow 2.0的使用
任务调度
java
Azkaban 目前同时支持 Flow 1.0 和 Flow2.0 ,但是官方文档上更推荐使用 Flow 2.0,因为 Flow 1.0 会在将来的版本被移除。Flow 2.0 的主要设计思想是提供 1.0 所没有的流级定义。用户可以将属于给定流的所有 job / properties 文件合并到单个流定义文件中,其内容采用 YAML 语法进行定义,同时还支持在流中再定义流,称为为嵌入流或子流。
每天进步一点点
2022-12-15
486
0
3.Azkaban Flow 1.0 的使用
打包
任务调度
sql
大数据
目前 Azkaban 3.x 同时支持 Flow 1.0 和 Flow 2.0,本文主要讲解 Flow 1.0 的使用,下一篇文章会讲解 Flow 2.0 的使用。
每天进步一点点
2022-12-15
402
0
2.Azkaban 3.x 编译及部署
打包
jdk
jar
gradle
git
Azkaban 在 3.0 版本之后就不提供对应的安装包,需要自己下载源码进行编译。
每天进步一点点
2022-12-15
456
0
1.Azkaban简介
网站
云数据库 SQL Server
数据库
数据分析
sql
一个完整的大数据分析系统,必然由很多任务单元 (如数据收集、数据清洗、数据存储、数据分析等) 组成,所有的任务单元及其之间的依赖关系组成了复杂的工作流。复杂的工作流管理涉及到很多问题:
每天进步一点点
2022-12-15
636
0
1.Scala简介及开发环境配置
java
scala
sdk
ide
Scala 全称为 Scalable Language,即“可伸缩的语言”,之所以这样命名,是因为它的设计目标是希望伴随着用户的需求一起成长。Scala 是一门综合了面向对象和函数式编程概念的静态类型的编程语言,它运行在标准的 Java 平台上,可以与所有的 Java 类库无缝协作。
每天进步一点点
2022-12-15
588
0
Hive 视图和索引
hive
大数据
存储
Hive 中的视图和 RDBMS 中视图的概念一致,都是一组数据的逻辑表示,本质上就是一条 SELECT 语句的结果集。视图是纯粹的逻辑对象,没有关联的存储 (Hive 3.0.0 引入的物化视图除外),当查询引用视图时,Hive 可以将视图的定义与查询结合起来,例如将查询中的过滤器推送到视图中。
每天进步一点点
2022-12-15
1.4K
0
2.Linux下Flume的安装
jdk
bash
bash 指令
专用宿主机
下载所需版本的 Flume,这里我下载的是 CDH 版本的 Flume。下载地址为:http://archive.cloudera.com/cdh5/cdh/5/
每天进步一点点
2022-07-27
369
0
1.Flume 简介及基本使用
大数据
文件存储
Apache Flume 是一个分布式,高可用的数据收集系统。它可以从不同的数据源收集数据,经过聚合后发送到存储系统中,通常用于日志数据的收集。Flume 分为 NG 和 OG (1.0 之前) 两个版本,NG 在 OG 的基础上进行了完全的重构,是目前使用最为广泛的版本。下面的介绍均以 NG 为基础。
每天进步一点点
2022-07-27
535
0
4.Kafka消费者详解
kafka
api
node.js
在 Kafka 中,消费者通常是消费者群组的一部分,多个消费者群组共同读取同一个主题时,彼此之间互不影响。Kafka 之所以要引入消费者群组这个概念是因为 Kafka 消费者经常会做一些高延迟的操作,比如把数据写到数据库或 HDFS ,或者进行耗时的计算,在这些情况下,单个消费者无法跟上数据生成的速度。此时可以增加更多的消费者,让它们分担负载,分别处理部分分区的消息,这就是 Kafka 实现横向伸缩的主要手段。
每天进步一点点
2022-07-27
1K
0
3.Kafka生产者详解
文件存储
kafka
http
本项目采用 Maven 构建,想要调用 Kafka 生产者 API,需要导入 kafka-clients 依赖,如下:
每天进步一点点
2022-07-27
450
0
2.基于Zookeeper搭建Kafka高可用集群
kafka
存储
zookeeper
为保证集群高可用,Zookeeper 集群的节点数最好是奇数,最少有三个节点,所以这里搭建一个三个节点的集群。
每天进步一点点
2022-07-27
453
0
1.Kafka简介
kafka
批量计算
分布式
Kafka 的基本数据单元被称为 message(消息),为减少网络开销,提高效率,多个消息会被放入同一批次 (Batch) 中后再写入。
每天进步一点点
2022-07-27
284
0
Spring/Spring Boot 整合 Mybatis + Phoenix
单元测试
数据库
spring
spring boot
mybatis
使用 Spring+Mybatis 操作 Phoenix 和操作其他的关系型数据库(如 Mysql,Oracle)在配置上是基本相同的,下面会分别给出 Spring/Spring Boot 整合步骤,完整代码见本仓库:
每天进步一点点
2022-07-27
545
0
Hbase的SQL中间层——Phoenix
TDSQL MySQL 版
hbase
sql
http
html
Phoenix 是 HBase 的开源 SQL 中间层,它允许你使用标准 JDBC 的方式来操作 HBase 上的数据。在 Phoenix 之前,如果你要访问 HBase,只能调用它的 Java API,但相比于使用一行 SQL 就能实现数据查询,HBase 的 API 还是过于复杂。Phoenix 的理念是 we put sql SQL back in NOSQL,即你可以使用标准的 SQL 就能完成对 HBase 上数据的操作。同时这也意味着你可以通过集成 Spring Data JPA 或 Mybatis 等常用的持久层框架来操作 HBase。
每天进步一点点
2022-07-27
661
0
Hbase容灾与备份
hbase
apache
TDSQL MySQL 版
大数据
本文主要介绍 Hbase 常用的三种简单的容灾备份方案,即CopyTable、Export/Import、Snapshot。分别介绍如下:
每天进步一点点
2022-07-27
1.6K
0
Hbase 协处理器
jar
shell
hbase
api
java
在使用 HBase 时,如果你的数据量达到了数十亿行或数百万列,此时能否在查询中返回大量数据将受制于网络的带宽,即便网络状况允许,但是客户端的计算处理也未必能够满足要求。在这种情况下,协处理器(Coprocessors)应运而生。它允许你将业务计算代码放入在 RegionServer 的协处理器中,将处理好的数据再返回给客户端,这可以极大地降低需要传输的数据量,从而获得性能上的提升。同时协处理器也允许用户扩展实现 HBase 目前所不具备的功能,如权限校验、二级索引、完整性约束等。
每天进步一点点
2022-07-27
978
0
Hbase 过滤器详解
hbase
TDSQL MySQL 版
unix
Hbase 提供了种类丰富的过滤器(filter)来提高数据处理的效率,用户可以通过内置或自定义的过滤器来对数据进行过滤,所有的过滤器都在服务端生效,即谓词下推(predicate push down)。这样可以保证过滤掉的数据不会被传送到客户端,从而减轻网络传输和客户端处理的压力。
每天进步一点点
2022-07-27
1.2K
0
HBase Java API 的基本使用
hbase
TDSQL MySQL 版
api
java
maven
截至到目前 (2019.04),HBase 有两个主要的版本,分别是 1.x 和 2.x ,两个版本的 Java API 有所不同,1.x 中某些方法在 2.x 中被标识为 @deprecated 过时。所以下面关于 API 的样例,我会分别给出 1.x 和 2.x 两个版本。完整的代码见本仓库:
每天进步一点点
2022-07-27
1.1K
0
Hbase 常用 Shell 命令
http
命令格式:create '表名称', '列族名称 1','列族名称 2','列名称 N'
每天进步一点点
2022-07-27
1.1K
0
点击加载更多
社区活动
Python精品学习库
代码在线跑,知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·干货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档