最新最全的大数据技术体系-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

最新最全的大数据技术体系

专栏成员

751

文章

643664

阅读量

35

订阅数

基于Flume+Kafka+Hbase+Flink+FineBI的实时综合案例(五)FineBI可视化

hbase kafka flink flume 可视化

官方文档：https://help.fanruan.com/finebi/doc-view-363.html

2023-10-22

3701

基于Flume+Kafka+Hbase+Flink+FineBI的实时综合案例(四)实时计算需求及技术方案

hbase kafka flink flume 实时计算

逆地理编码：https://lbsyun.baidu.com/index.php?title=webapi/guide/webservice-geocoding-abroad

2023-10-22

3270

基于Flume+Kafka+Hbase+Flink+FineBI的实时综合案例(三)离线分析

hbase kafka flink flume 数据

2023-10-17

2890

基于Flume+Kafka+Hbase+Flink+FineBI的实时综合案例(二)数据源

hbase kafka flink flume 数据

结果：生成模拟数据文件MOMO_DATA.dat，并且每条数据中字段分隔符为\001

2023-10-17

5410

基于Flume+Kafka+Hbase+Flink+FineBI的实时综合案例(一)案例需求

hbase kafka flink flume 索引

2023-10-17

2660

大数据课设，做个Hbase关键词查找文件（五）

大数据 hbase 测试程序数据

题目：电影搜索引擎功能：根据文档数据集，模拟用户输入一个电影关键词后，搜索到哪些文档难度系数：1.2 l.生成模拟数据集：用C+、Java、Python等语言编写程序，按以下格式要求生成一个较大的模拟数据集 (不少于10000条数据)。文档ID关键词ID1:出现次数关键词ID2:出现次数关键词ID3:出现次数关键词ID4:出现次数.… 注意：关键词D1:6,表示关键词D1这一列的值为 6(即出现次数) 2.HBase编程：编写Java程序，实现本题功能，即在 HBase中创建一个表doc,把数据集中的数据全部插入到doc表，然后再输入一个电影关键词，按以下格式输出查询结果。尽可能详细描述程序的编译、在 DE环境下测试、打包、执行完整过程，附相应的截图及程序执行结果。文档D1:出现次数文档D2:出现次数文档D3:出现次数 3.测试：在HBase的Shell中测试上述Java程序的执行结果。要求尽可能描述详细的测试过程和结果。

2023-10-10

1750

实时即未来，大数据项目车联网之驾驶行程采样入库【十五】

hbase function window

行程指用户在一定时间内，连续的、不间断的驾驶车辆进行移动行为。根据停车时间超过15分钟划分行程。驾驶行程采样指的是从一份数据里面取部分数据，这部分数据作为驾驶行程数据的样本。

2023-02-01

2400

大数据物流项目：Kudu 入门使用（五）

存储数据处理数据结构 hbase TDSQL MySQL 版

KUDU 支持用户对一个表指定一个范围分区规则和多个 Hash 分区规则，如下图：

2022-11-30

1.1K0

实时即未来，车联网项目之车辆驾驶行为分析【五】

hbase TDSQL MySQL 版 java

引入 guava 库中的Lists类，创建一个可变的包含给定元素的ArrayList示例

2022-10-04

7650

Kylin的入门实战

hive bash bash 指令 hadoop hbase

1.Kylin 是一款大数据OLAP引擎，由ebay-中国团队研发的，是第一个真正由中国人自己主导、从零开始、自主研发、并成为Apache顶级开源项目

2022-05-12

5940

一图胜千言:大数据入门必备的16张数据流转图(建议收藏)

大数据 hbase TDSQL MySQL 版 yarn spark

以上便是本码农总结的15张大数据开发必背的数据流转图,有事没事拿出来看一看,潜移默化自然就记下来了~

2022-05-08

4.2K0

大数据系列思考题

node.js hbase TDSQL MySQL 版 hive php

个人理解: hdfs启动流程 hdfs是Hadoop Distribute File System 的简称,即分布式文件系统,用于存储海量数据. hdfs的启动分为三步:1.启动Namenode;2.启动Datanode;3.启动Secondary Namenode; 详细说说: Secondary NameNode的工作流程:(为了方便Secondary NameNode以SN替代,NameNode)首先SN通知NN切换成edits文件; NN中的edits和fsimage通过http的方式传输到SN,并在SN中合并成新的fsimage.ckpt,之后传输回NN,并将旧的fsimage替换; NN中的edits生成新的edits文件并替换旧的edits

2022-05-08

4520

分布式NoSQL列存储数据库Hbase（六）

TDSQL MySQL 版 hbase nosql hive jdbc

step1：如果表在Hbase中没有，Hive中没有，在Hive中创建表，指定在Hbase中创建关联表

2022-02-28

3K0

❤️大数据开发必备:推荐7款大数据开发神器工作效率提升1000%【推荐收藏】

hbase 大数据 TDSQL MySQL 版 kafka windows

manor学习大数据开发满打满算也有一年了,其中也发现不少好用的大数据开发提升效率的软件,推荐给刚入门/入行的你:

2022-02-25

9960

用户画像标签系统体系解释

hbase TDSQL MySQL 版 Elasticsearch Service 存储 spark

1）、标签数据标签管理平台中，每个标签开发时，首先需要在管理平台上注册（新建标签：4级标签和5级标签）业务标签和属性标签业务标签对应标签模型，每个标签模型就是Spark Application，运行程序可以给用户打上标签：TagName 模型表中存储数据：spark application运行时参数设置核心数据： tagName -> tagRule：标签规则

2022-02-24

1.5K0

Spark Day05：Spark Core之Sougou日志分析、外部数据源和共享变量

hbase TDSQL MySQL 版 spark 编程算法数据库

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-sRu202yb-1644834575572)(/img/image-20210423150750606.png)]

2022-02-17

9771

学了1年大数据,来测测你大数据技术掌握程度?大数据综合复习之面试题15问（思维导图+问答库)

kafka flink 腾讯云开发者社区 hbase TDSQL MySQL 版

时隔一年,终于把主流的大数据组件全部学完了,学成之时,便是出师之日, 那为师便来考考你学的如何:

2021-12-30

3650

Hbase的javaAPI

maven 大数据 hbase TDSQL MySQL 版

（这里的方法在运行的时候要开启Hbase集群服务）启动HBase 由于伪分布式下的 HBase 依赖 HDFS ，因此我们需要先启动 HDFS ：

2021-12-20

3620

【秋招面试】货拉拉面试（1面过程）

hive hbase TDSQL MySQL 版大数据 mapreduce

下面是面试题：由于我准备面试时大部分的项目准备是围绕数据仓库开发准备的，而我面试的是货拉拉的大数据开发岗，所以整个面试过程面试官也在反复和我确认到底是面试应用开发还是数仓开发。。。

2021-12-07

5440

【秋招面试】面试准备（一面准备）

编程算法 hive 云数据库 SQL Server hbase TDSQL MySQL 版

实际上算法这块我还是个菜狗没办法机会难得，不知道下次能不能这么走运只能硬着头皮上了……!

2021-12-07

3830

点击加载更多

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态