腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
大数据成神之路
专注大数据领域的一切技术~
专栏作者
举报
635
文章
1280292
阅读量
316
订阅数
订阅专栏
申请加入专栏
全部文章（635）
大数据（273）
sql（163）
数据库（129）
kafka（105）
spark（100）
flink（91）
编程算法（83）
apache（70）
存储（60）
hive（59）
java（52）
node.js（52）
api（52）
数据（43）
hadoop（41）
文件存储（39）
缓存（39）
hbase（36）
云数据库 SQL Server（35）
TDSQL MySQL 版（33）
数据处理（31）
分布式（29）
数据结构（28）
scala（25）
云数据库 Redis（24）
mapreduce（24）
数据分析（20）
javascript（19）
linux（19）
yarn（18）
https（18）
python（17）
网络安全（17）
unix（16）
jvm（16）
windows（16）
zookeeper（14）
打包（13）
消息队列 CMQ 版（13）
开发（13）
批量计算（12）
http（12）
bash（11）
数据湖（11）
数据迁移（10）
云计算（10）
面试（10）
xml（9）
企业（9）
数据安全（9）
Elasticsearch Service（9）
bash 指令（8）
腾讯云测试服务（8）
面向对象编程（8）
框架（8）
优化（8）
jar（7）
运维（7）
processing（7）
机器学习（6）
json（6）
日志数据（6）
开源（6）
hashmap（6）
tcp/ip（6）
rabbitmq（6）
数据可视化（6）
微服务（6）
架构（6）
html（5）
神经网络（5）
深度学习（5）
压力测试（5）
jdbc（5）
rpc（5）
nosql（4）
spring（4）
网站（4）
express（4）
sql server（4）
nest（4）
任务调度（4）
es（4）
数据集成（4）
工具（4）
配置（4）
数据管理（4）
系统（4）
性能（4）
oracle（3）
github（3）
maven（3）
人工智能（3）
vr 视频解决方案（3）
electron（3）
容器（3）
shell（3）
socket编程（3）
kerberos（3）
性能测试（3）
实时数仓（3）
测试（3）
工作（3）
行业（3）
集群（3）
内存（3）
设计（3）
实践（3）
索引（3）
原理（3）
对象存储（2）
官方文档（2）
数据挖掘（2）
css（2）
ajax（2）
android（2）
ide（2）
lucene/solr（2）
nginx（2）
容器镜像服务（2）
海外加速（2）
mongodb（2）
rollup.js（2）
kubernetes（2）
uml（2）
架构设计（2）
5g（2）
迁移（2）
clickhouse（2）
报表（2）
产品（2）
磁盘（2）
函数（2）
后端（2）
监控（2）
解决方案（2）
模型（2）
排序（2）
事件（2）
异常（2）
最佳实践（2）
负载均衡（1）
自动驾驶（1）
ios（1）
iphone（1）
php（1）
go（1）
lua（1）
erlang（1）
regex（1）
react（1）
typescript（1）
postgresql（1）
flask（1）
sqlalchemy（1）
git（1）
搜索引擎（1）
负载均衡缓存（1）
专用宿主机（1）
云数据迁移（1）
日志服务（1）
腾讯云可观测平台（1）
命令行工具（1）
云数据库 MongoDB（1）
es 2（1）
图像处理（1）
数据备份（1）
电商（1）
出行（1）
serverless（1）
游戏（1）
无人驾驶（1）
jdk（1）
推荐系统（1）
markdown（1）
zabbix（1）
微信（1）
机器人（1）
物联网（1）
系统架构（1）
腾讯云开发者社区（1）
安全治理（1）
raft（1）
实时监控（1）
数据库管理（1）
流计算 Oceanus（1）
大数据存储（1）
汽车（1）
腾讯云（1）
bi（1）
bigdata（1）
block（1）
class（1）
code（1）
combine（1）
configuration（1）
csv（1）
data（1）
dp（1）
export（1）
fifo（1）
hash（1）
import（1）
ip（1）
key（1）
memory（1）
mysql（1）
netty（1）
populate（1）
properties（1）
pulsar（1）
queue（1）
rank（1）
root（1）
scheduler（1）
select（1）
state（1）
sum（1）
table（1）
task（1）
time（1）
vi（1）
window（1）
报表工具（1）
登录（1）
队列（1）
服务（1）
高性能（1）
管理（1）
规范化（1）
基础（1）
架构师（1）
接口（1）
连接（1）
日志（1）
入门（1）
实时计算（1）
数据采集（1）
数据同步（1）
算法（1）
微信公众号（1）
线程（1）
效率（1）
协议（1）
研发（1）
语法（1）
中间件（1）
字符串（1）
搜索文章
搜索
搜索
关闭
「Hudi系列」Apache Hudi入门指南 | SparkSQL+Hive+Presto集成
hive
spark
hadoop
sql
jar
hive 查询hudi 数据主要是在hive中建立外部表数据路径指向hdfs 路径，同时hudi 重写了inputformat 和outpurtformat。因为hudi 在读的数据的时候会读元数据来决定我要加载那些parquet文件，而在写的时候会写入新的元数据信息到hdfs路径下。所以hive 要集成hudi 查询要把编译的jar 包放到HIVE-HOME/lib 下面。否则查询时找不到inputformat和outputformat的类。
王知无-import_bigdata
2022-03-11
2.1K
0
Atlas血缘分析在数据仓库中的实战案例
打包
jar
xml
hive
sql
1.1 执行SQL 1.2 手写的数据地图 1.3 atlas血缘分析 1.4 打标签 1.4.1 CLASSIFICATION分类 1.4.2 GLOSSARY词汇表 1.5 字段搜索 1.5.1查看表字段 1.5.2 追踪字段关系
王知无-import_bigdata
2022-03-11
3.1K
0
Flink1.12集成Hive打造自己的批流一体数仓
大数据
flink
sql
jar
java
小编在去年之前分享过参与的实时数据平台的建设，关于实时数仓也进行过分享。客观的说，我们当时做不到批流一体，小编当时的方案是将实时消息数据每隔15分钟文件同步到离线数据平台，然后用同一套SQL代码进行离线入库操作。
王知无-import_bigdata
2021-01-20
1K
0
Flink On K8S终极实现方案
flink
大数据
kubernetes
jar
Flink作为新一代的大数据处理引擎，不仅是业内公认的最好的流处理引擎，而且具备机器学习等多种强大计算功能，用户只需根据业务逻辑开发一套代码，无论是全量数据还是增量数据，亦或者实时处理，一套方案即可全部解决。K8S是业内最流行的容器编排工具，与docker容器技术结合，可以提供比Yarn与Mesos更强大的集群资源管理功能，成为容器云的主要解决方案之一。如果能将两者结合，无疑是双剑合璧，对生产效能有着巨大的提升。本文将介绍目前为止，Flink On K8S的最前沿实现方案。
王知无-import_bigdata
2020-12-18
3.8K
0
Flink Logback日志与邮件报警配置
flink
大数据
javascript
xml
jar
Flink官方推荐使用Logback替代默认的Log4j作为日志框架。我们之前一直用Log4j，最近切换成了更优秀的Logback，但是配置起来略有点麻烦，本文简述配置过程。
王知无-import_bigdata
2020-03-18
2.3K
0
Spark Core源码精读计划3 | SparkContext辅助属性及后初始化
jar
云数据库 Redis
spark
在文章#2中，我们了解了SparkContext的主体部分，即组件初始化。除了它之外，SparkContext中还有一些与其内部机制紧密相关的属性，下文为了简单，就将它们称为“辅助属性”。另外，在组件初始化完成后，还有一些善后工作，即后初始化（Post-init）。本文就来研究这两块内容。
王知无-import_bigdata
2019-08-02
742
0
Hadoop分布式缓存(DistributedCache)
缓存
jar
分布式
大数据
hadoop
DistributedCache是hadoop框架提供的一种机制,可以将job指定的文件,在job执行前,先行分发到task执行的机器上,并有相关机制对cache文件进行管理。
王知无-import_bigdata
2019-04-24
1.7K
0
没有更多了
社区活动
腾讯技术创作狂欢月
“码”上创作 21 天，分 10000 元奖品池！
立即发文
Python精品学习库
代码在线跑，知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客，速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档