腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
about云
专栏作者
举报
216
文章
314939
阅读量
58
订阅数
订阅专栏
申请加入专栏
全部文章(216)
spark(40)
大数据(37)
hadoop(32)
其他(22)
编程算法(19)
sql(18)
apache(17)
人工智能(17)
bash(13)
yarn(13)
机器学习(12)
数据库(12)
存储(11)
shell(11)
hive(10)
php(9)
bash 指令(9)
https(9)
http(8)
开源(8)
区块链(7)
数据挖掘(7)
scala(7)
node.js(7)
安全(7)
hbase(7)
kafka(7)
api(6)
网络安全(6)
数据分析(6)
xml(5)
linux(5)
容器(5)
java(4)
html(4)
神经网络(4)
深度学习(4)
TDSQL MySQL 版(4)
分布式(4)
zookeeper(4)
微信(4)
架构设计(4)
flink(4)
面试(4)
git(3)
企业(3)
openstack(3)
数据处理(3)
chatgpt(3)
比特币(2)
自动驾驶(2)
qt(2)
云数据库 SQL Server(2)
ide(2)
unix(2)
容器镜像服务(2)
mapreduce(2)
图像处理(2)
网站(2)
kubernetes(2)
游戏(2)
缓存(2)
jdk(2)
ssh(2)
erp(2)
推荐系统(2)
tcp/ip(2)
windows(2)
数据可视化(2)
物联网(2)
数据结构(2)
系统架构(2)
微服务(2)
com(2)
gpt(2)
it(2)
工作(2)
数据(2)
对象存储(1)
tensorflow(1)
python(1)
go(1)
r 语言(1)
json(1)
android(1)
oracle(1)
nosql(1)
云数据库 Redis(1)
eclipse(1)
github(1)
maven(1)
搜索引擎(1)
ubuntu(1)
windows server(1)
批量计算(1)
文件存储(1)
短视频(1)
日志数据(1)
金融(1)
运维(1)
爬虫(1)
无人驾驶(1)
hashmap(1)
监督学习(1)
线性回归(1)
ddos(1)
iis(1)
无监督学习(1)
机器人(1)
nat(1)
云计算(1)
数据湖(1)
教育(1)
bug(1)
coding(1)
dataframe(1)
overflow(1)
paypal(1)
server(1)
show(1)
sqoop(1)
stack(1)
streaming(1)
编程(1)
编程语言(1)
程序员(1)
翻译(1)
公众号(1)
行业(1)
互联网(1)
华为(1)
技巧(1)
架构(1)
解决方案(1)
开发者(1)
科技(1)
求职(1)
软件开发(1)
搜索(1)
腾讯(1)
项目经理(1)
异常(1)
搜索文章
搜索
搜索
关闭
基于Flink商品实时推荐系统项目【大数据及算法】
TDSQL MySQL 版
hbase
容器镜像服务
推荐系统
存储
介绍: 基于Flink实现的商品实时推荐系统。flink统计商品热度,放入redis缓存,分析日志信息,将画像标签和实时记录放入Hbase。在用户发起推荐请求后,根据用户画像重排序热度榜,并结合协同过滤和标签两个推荐模块为新生成的榜单的每一个产品添加关联产品,最后返回新的用户列表。 1. 系统架构 v2.0 1.1 系统架构 v2.0
用户1410343
2020-07-02
3.1K
1
大数据实用组件Hudi--实现管理大型分析数据集在HDFS上的存储
大数据
spark
hive
hbase
TDSQL MySQL 版
问题导读 1.什么是Hudi? 2.Hudi对HDFS可以实现哪些操作? 3.Hudi与其它组件对比有哪些特点? 前两天我们About云群大佬公司想了解Hudi ,并上线使用。Hudi 或许大家了解的比较少,这里给大家介绍下Hudi这个非常实用和有潜力的组件。 Hudi是在HDFS的基础上,对HDFS的管理和操作。支持在Hadoop上执行upserts/insert/delete操作。这里大家可能觉得比较抽象,那么它到底解决了哪些问题? Hudi解决了我们那些痛点 1.实时获取新增数据 你是否遇到过这样的问题,使用Sqoop获取Mysql日志或则数据,然后将新增数据迁移到Hive或则HDFS。对于新增的数据,有不少公司确实是这么做的,比较高级点的,通过Shell调用Sqoop迁移数据实现自动化,但是这里面有很多的坑和难点,相对来说工作量也不少,那么有没有更好的解决办法那?---Hudi可以解决。Hudi可以实时获取新数据。 2.实时查询、分析 对于HDFS数据,我们要查询数据,是需要使用MapReduce的,我们使用MapReduce查询,这几乎是让我们难以接受的,有没有近实时的方案,有没有更好的解决方案--Hudi。 什么是Hudi Apache Hudi代表Hadoop Upserts anD Incrementals,管理大型分析数据集在HDFS上的存储。Hudi的主要目的是高效减少摄取过程中的数据延迟。由Uber开发并开源,HDFS上的分析数据集通过两种类型的表提供服务:读优化表(Read Optimized Table)和近实时表(Near-Real-Time Table)。 读优化表的主要目的是通过列式存储提供查询性能,而近实时表则提供实时(基于行的存储和列式存储的组合)查询。 Hudi是一个开源Spark库(基于Spark2.x),用于在Hadoop上执行诸如更新,插入和删除之类的操作。它还允许用户仅摄取更改的数据,从而提高查询效率。它可以像任何作业一样进一步水平扩展,并将数据集直接存储在HDFS上。 Hudi的作用 上面还是比较抽象的话,接着我们来看下图,更形象的来了解Hudi
用户1410343
2020-01-14
4.7K
0
hadoop,hbase,hive,zookeeper整合可行性分析及版本确定【续篇】
zookeeper
hbase
TDSQL MySQL 版
hadoop
hive
问题导读 1.如何确定什么版本是稳定版本? 2.本文是如何确定各个版本的? 3.hbase1.x与hive1.x什么情况下是兼容的? 前面一篇写过 hadoop,hbase,hive,zooke
用户1410343
2018-03-27
1.4K
0
如何通过官网查找hadoop、hbase、hive版本兼容信息
hadoop
hbase
http
TDSQL MySQL 版
hive
问题导读 1.如何查看hbase与hadoop的兼容? 2.hive是否与所有hadoop兼容? 3.hadoop2.7.1 hbase1.2.x hive1.2.0是否兼容? 打算做一个比较新的版本兼容,版本的兼容是一个问题。那么如何来看是否兼容。 最简单的办法: hadoop、hbase、hive、zookeeper版本对应关系续(最新版) 那么我们该如何查看hadoop、hbase、hive他们之间的兼容关系 这时候,我们就要去官网了: 首先查看hbase: 进入官网 http://h
用户1410343
2018-03-27
5K
0
没有更多了
社区活动
腾讯技术创作狂欢月
“码”上创作 21 天,分 10000 元奖品池!
立即发文
Python精品学习库
代码在线跑,知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档