腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
about云
专栏作者
举报
216
文章
311340
阅读量
58
订阅数
订阅专栏
申请加入专栏
全部文章
spark
大数据
hadoop
其他
编程算法
sql
apache
人工智能
bash
yarn
机器学习
数据库
存储
shell
hive
php
bash 指令
https
http
开源
区块链
数据挖掘
scala
node.js
安全
hbase
kafka
api
网络安全
数据分析
xml
linux
容器
java
html
神经网络
深度学习
TDSQL MySQL 版
分布式
zookeeper
微信
架构设计
flink
面试
git
企业
openstack
数据处理
chatgpt
比特币
自动驾驶
qt
云数据库 SQL Server
ide
unix
容器镜像服务
mapreduce
图像处理
网站
kubernetes
游戏
缓存
jdk
ssh
erp
推荐系统
tcp/ip
windows
数据可视化
物联网
数据结构
系统架构
微服务
com
gpt
it
工作
数据
对象存储
tensorflow
python
go
r 语言
json
android
oracle
nosql
云数据库 Redis
eclipse
github
maven
搜索引擎
ubuntu
windows server
批量计算
文件存储
短视频
日志数据
金融
运维
爬虫
无人驾驶
hashmap
监督学习
线性回归
ddos
iis
无监督学习
机器人
nat
云计算
数据湖
教育
bug
coding
dataframe
overflow
paypal
server
show
sqoop
stack
streaming
编程
编程语言
程序员
翻译
公众号
行业
互联网
华为
技巧
架构
解决方案
开发者
科技
求职
软件开发
搜索
腾讯
项目经理
异常
搜索文章
搜索
搜索
关闭
基于Flink商品实时推荐系统项目【大数据及算法】
TDSQL MySQL 版
hbase
容器镜像服务
推荐系统
存储
介绍: 基于Flink实现的商品实时推荐系统。flink统计商品热度,放入redis缓存,分析日志信息,将画像标签和实时记录放入Hbase。在用户发起推荐请求后,根据用户画像重排序热度榜,并结合协同过滤和标签两个推荐模块为新生成的榜单的每一个产品添加关联产品,最后返回新的用户列表。 1. 系统架构 v2.0 1.1 系统架构 v2.0
用户1410343
2020-07-02
3K
1
大数据实用组件Hudi--实现管理大型分析数据集在HDFS上的存储
大数据
spark
hive
hbase
TDSQL MySQL 版
问题导读 1.什么是Hudi? 2.Hudi对HDFS可以实现哪些操作? 3.Hudi与其它组件对比有哪些特点? 前两天我们About云群大佬公司想了解Hudi ,并上线使用。Hudi 或许大家了解的比较少,这里给大家介绍下Hudi这个非常实用和有潜力的组件。 Hudi是在HDFS的基础上,对HDFS的管理和操作。支持在Hadoop上执行upserts/insert/delete操作。这里大家可能觉得比较抽象,那么它到底解决了哪些问题? Hudi解决了我们那些痛点 1.实时获取新增数据 你是否遇到过这样的问题,使用Sqoop获取Mysql日志或则数据,然后将新增数据迁移到Hive或则HDFS。对于新增的数据,有不少公司确实是这么做的,比较高级点的,通过Shell调用Sqoop迁移数据实现自动化,但是这里面有很多的坑和难点,相对来说工作量也不少,那么有没有更好的解决办法那?---Hudi可以解决。Hudi可以实时获取新数据。 2.实时查询、分析 对于HDFS数据,我们要查询数据,是需要使用MapReduce的,我们使用MapReduce查询,这几乎是让我们难以接受的,有没有近实时的方案,有没有更好的解决方案--Hudi。 什么是Hudi Apache Hudi代表Hadoop Upserts anD Incrementals,管理大型分析数据集在HDFS上的存储。Hudi的主要目的是高效减少摄取过程中的数据延迟。由Uber开发并开源,HDFS上的分析数据集通过两种类型的表提供服务:读优化表(Read Optimized Table)和近实时表(Near-Real-Time Table)。 读优化表的主要目的是通过列式存储提供查询性能,而近实时表则提供实时(基于行的存储和列式存储的组合)查询。 Hudi是一个开源Spark库(基于Spark2.x),用于在Hadoop上执行诸如更新,插入和删除之类的操作。它还允许用户仅摄取更改的数据,从而提高查询效率。它可以像任何作业一样进一步水平扩展,并将数据集直接存储在HDFS上。 Hudi的作用 上面还是比较抽象的话,接着我们来看下图,更形象的来了解Hudi
用户1410343
2020-01-14
4.6K
0
深入理解HBase的原理及系统架构
hbase
系统架构
zookeeper
数据库
物理上来说,HBase是由三种类型的服务器以主从模式构成的。这三种服务器分别是:Region server,HBase HMaster,ZooKeeper。
用户1410343
2018-07-26
636
0
hadoop,hbase,hive,zookeeper整合可行性分析及版本确定【续篇】
zookeeper
hbase
TDSQL MySQL 版
hadoop
hive
问题导读 1.如何确定什么版本是稳定版本? 2.本文是如何确定各个版本的? 3.hbase1.x与hive1.x什么情况下是兼容的? 前面一篇写过 hadoop,hbase,hive,zooke
用户1410343
2018-03-27
1.4K
0
HBase高可用原理与实践
hbase
存储
云数据库 SQL Server
问题导读: 1.HBase高可用原理是什么? 2.HBase的实践? 前言 前段时间有套线上HBase出了点小问题,导致该套HBase集群服务停止了2个小时,从而造成使用该套HBase作为数据存储的应用也出现了服务异常。在排查问题之余,我们不禁也在思考,以后再出现类似的问题怎么办?这种问题该如何避免?用惯了MySQL,于是乎想到了HBase是否跟MySQL一样,也有其高可用方案? 答案当然是肯定的,几乎所有的数据库(无论是关系型还是分布式的),都采用WAL的方式来保障服务异常时候的数据恢复
用户1410343
2018-03-27
3K
0
如何通过官网查找hadoop、hbase、hive版本兼容信息
hadoop
hbase
http
TDSQL MySQL 版
hive
问题导读 1.如何查看hbase与hadoop的兼容? 2.hive是否与所有hadoop兼容? 3.hadoop2.7.1 hbase1.2.x hive1.2.0是否兼容? 打算做一个比较新的版本兼容,版本的兼容是一个问题。那么如何来看是否兼容。 最简单的办法: hadoop、hbase、hive、zookeeper版本对应关系续(最新版) 那么我们该如何查看hadoop、hbase、hive他们之间的兼容关系 这时候,我们就要去官网了: 首先查看hbase: 进入官网 http://h
用户1410343
2018-03-27
4.8K
0
discuz论坛apache日志hadoop大数据分析项目:hive以及hbase是如何入库以及代码实现
hive
编程算法
hbase
apache
hadoop
about云discuz论坛apache日志hadoop大数据分析项目: 数据时如何导入hbase与hive的到了这里项目的基本核心功能已经完成。这里介绍一下hive以及hbase是如何入库以及代码实现。 首先我们将hbase与hive整合,详细参考 about云分析discuz论坛apache日志hadoop大数据项目:hive与hbase是如何整合使用的 about云分析discuz论坛apache日志hadoop大数据项目:hive与hbase是如何整合使用的 整合完毕,我们就可以通过map
用户1410343
2018-03-27
813
0
没有更多了
社区活动
Python精品学习库
代码在线跑,知识轻松学
点击查看
【玩转EdgeOne】征文进行中
限时免费体验,发文即有奖~
立即参加
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·干货材料·成员作品·最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档