腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
小道
专栏成员
举报
105
文章
101743
阅读量
26
订阅数
订阅专栏
申请加入专栏
全部文章(105)
sql(27)
数据库(20)
编程算法(20)
flink(13)
数据(12)
linux(10)
spark(9)
hive(9)
大数据(9)
java(8)
spring(8)
存储(8)
sql server(8)
http(7)
xml(6)
api(6)
文件存储(6)
缓存(6)
网络安全(6)
windows(6)
自动驾驶(5)
jar(5)
mapreduce(5)
hadoop(5)
node.js(4)
centos(4)
分布式(4)
jdk(4)
数据分析(4)
内存(4)
bash(3)
html(3)
android(3)
bash 指令(3)
网站(3)
yum(3)
aop(3)
tcp/ip(3)
配置(3)
线程安全(3)
机器学习(2)
scala(2)
css(2)
json(2)
云数据库 SQL Server(2)
tomcat(2)
全文检索(2)
unix(2)
神经网络(2)
批量计算(2)
开源(2)
jdbc(2)
zookeeper(2)
socket编程(2)
数据结构(2)
hbase(2)
kafka(2)
任务调度(2)
虚拟化(2)
guava(2)
程序(2)
函数(2)
客户端(2)
排序(2)
日志(2)
线程(2)
学习笔记(2)
负载均衡(1)
ios(1)
iphone(1)
c++(1)
php(1)
perl(1)
go(1)
servlet(1)
mvc(1)
打包(1)
apache(1)
深度学习(1)
云数据库 MongoDB(1)
TDSQL MySQL 版(1)
NAT 网关(1)
腾讯云测试服务(1)
云推荐引擎(1)
mongodb(1)
人工智能(1)
电商(1)
yarn(1)
容器(1)
shell(1)
jvm(1)
mybatis(1)
dns(1)
hashmap(1)
推荐系统(1)
grep(1)
二叉树(1)
udp(1)
https(1)
nat(1)
processing(1)
sdn(1)
聚类算法(1)
分类算法(1)
Elasticsearch Service(1)
absolute(1)
date(1)
elk(1)
flume(1)
hdfs(1)
hql(1)
import(1)
limit(1)
nio(1)
redis(1)
select(1)
sort(1)
sqoop(1)
submit(1)
synchronized(1)
报表(1)
部署(1)
磁盘(1)
单例模式(1)
递归(1)
对象(1)
多线程(1)
服务端(1)
服务器(1)
工作(1)
管理(1)
集群(1)
接口(1)
可视化(1)
框架(1)
连接(1)
权限(1)
权限控制(1)
数组(1)
索引(1)
系统(1)
线程池(1)
性能(1)
压缩(1)
异常(1)
优化(1)
原理(1)
主机(1)
搜索文章
搜索
搜索
关闭
Flink CDC
数据库
flink
import
配置
数据
CDC是Change Data Capture(变更数据获取)的简称。 核心思想是,监测并捕获数据库的变动(包括数据或数据表的插入、更新以及删除等),将这些变更按发生的顺序完整记录下来,写入到消息中间件中以供其他服务进行订阅及消费。
挽风
2023-12-18
444
0
Flink日志采集-ELK可视化实现
flink
elk
部署
可视化
日志
针对按照⽇志⽂件⼤⼩滚动⽣成⽂件的⽅式,可能因为某个错误的问题,需要看好多个⽇志⽂件,还有Flink on Yarn模式提交Flink任务,在任务执行完毕或者任务报错后container会被回收从而导致日志丢失,为了方便排查问题可以把⽇志⽂件通过KafkaAppender写⼊到kafka中,然后通过ELK等进⾏⽇志搜索甚⾄是分析告警。
挽风
2023-11-05
658
0
spark-submit --files
spark
hdfs
submit
异常
原理
spark-submit --files通常用来加载外部资源文件,在driver和executor进程中进行访问
挽风
2023-10-17
575
0
Scala
scala
递归
对象
函数
接口
3、与过程化编程相⽐,函数式编程⾥的函数计算可以随时调⽤,函数式编程中,函数是⼀等公民
挽风
2023-10-17
184
0
Redis
数据库
缓存
redis
数据
主机
缓存穿透是指查询一个一定不存在的数据。由于缓存命不中时会去查询数据库,查不到数据则不写入缓存,这将导致这个不存在的数据每次请求都要到数据库去查询,造成缓存穿透。
挽风
2023-10-17
146
0
HTable API有没有线程安全问题,在程序中是单例还是多例?
api
程序
多线程
线程
线程安全
在单线程环境下使用hbase的htable是没有问题,但是突然高并发多线程情况下就可能出现问题。
挽风
2023-10-17
128
0
Hive如何进行权限控制?
数据库
hive
管理
权限
权限控制
目前hive支持简单的权限管理,默认情况下是不开启,这样所有的用户都具有相同的权限,同时也是超级管理员,也就对hive中的所有表都有查看和改动的权利,这样是不符合一般数据仓库的安全原则的。Hive可以是基于元数据的权限管理,也可以基于文件存储级别的权限管理。
挽风
2023-10-17
678
0
Zookeeper
zookeeper
服务器
客户端
连接
数据
Zookeeper 作为一个分布式的服务框架,主要用来解决分布式集群中应用系统的一致性问题。ZooKeeper提供的服务包括:分布式消息同步和协调机制、服务器节点动态上下线、统一配置管理、负载均衡、集群管理等。
挽风
2023-10-17
369
0
Hadoop
hadoop
磁盘
内存
排序
数据
hadoop2.x core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml slaves
挽风
2023-10-17
268
0
SQL题目
sql
date
select
数据
数组
2、 • 当签到天数%7=3 则领取3金币 • 当签到天数%7=0 则领取7金币 • 其余情况,领取1金币
挽风
2023-10-17
263
0
Flume
flume
内存
配置
日志
数据
单机upd的flume source的配置,100+M/s数据量,10w qps flume就开始大量丢包,因此很多公司在搭建系统时,抛弃了Flume,自己研发传输系统,但是往往会参考Flume的Source-Channel-Sink模式。
挽风
2023-10-17
278
0
Flink
flink
内存
配置
数据
优化
1)Flink 是标准的实时处理引擎,基于事件驱动。而 Spark Streaming 是微批(Micro-Batch)的模型;
挽风
2023-10-17
432
0
Spark
spark
程序
集群
内存
数据
Spark是Scala语言实现的核心数据结构是RDD的基于内存迭代计算的分布式框架。
挽风
2023-10-17
307
0
HBase
存储
hbase
数据
索引
性能
2)无模式:每行都有一个可排序的主键和任意多的列,列可以根据需要动态的增加,同一张表中不同的行可以有截然不同的列;
挽风
2023-10-17
369
0
Sqoop
存储
sqoop
报表
工作
数据
Hive中的Null在底层是以“\N”来存储,而MySQL中的Null在底层就是Null,为了保证数据两端的一致性。在导出数据时采用–input-null-string和–input-null-non-string两个参数。导入数据时采用–null-string和–null-non-string。
挽风
2023-10-17
194
0
Hive_
存储
hive
函数
数据
压缩
HiveSQL ->AST(抽象语法树) -> QB(查询块) ->OperatorTree(操作树)->优化后的操作树->mapreduce任务树->优化后的mapreduce任务树
挽风
2023-10-17
287
0
Kafka
kafka
注意:Zookeeper中保存Broker id和消费者offsets等信息,但是没有生产者信息。
挽风
2022-11-28
494
0
Spark的Shuffle原理及调优
mapreduce
bash
bash 指令
文件存储
spark
当使⽤reduceByKey、groupByKey、sortByKey、countByKey、join、cogroup等操作的时候,会发⽣shuffle操作。Spark在DAG调度阶段将job划分成多个stage,上游stage做map操作,下游stage做reduce操作,其本质还是MR计算架 构。Shuffle是连接map和reduce之间的桥梁,它将map的输出对应到reduce的输⼊,这期间涉及到序列化和反序列化、跨节点⽹络IO和磁盘读写IO等,所以说shuffle是整个应⽤过程特别昂贵的阶段。
挽风
2022-09-23
611
0
Flink学习笔记(10) - CEP
api
flink
大数据
一个或多个由简单事件构成的事件流通过一定的规则匹配,然后输出用户想得到的数据 —— 满足规则的复杂事件
挽风
2022-09-01
425
0
Flink学习笔记(9)-Table API 和 Flink SQL
api
unix
sql
windows
flink
• Table API 是一套内嵌在 Java 和 Scala 语言中的查询API,它允许以非常直观的方式组合来自一些关系运算符的查询
挽风
2022-05-11
2.1K
0
点击加载更多
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
立即查看
Python精品学习库
代码在线跑,知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档