腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
最新最全的大数据技术体系
专栏成员
举报
751
文章
644127
阅读量
35
订阅数
订阅专栏
申请加入专栏
全部文章(751)
大数据(216)
sql(121)
数据库(111)
编程算法(110)
数据(87)
java(70)
spark(68)
hive(66)
node.js(65)
kafka(51)
hadoop(49)
python(47)
存储(45)
hbase(39)
云数据库 SQL Server(32)
TDSQL MySQL 版(30)
模型(30)
服务(28)
api(27)
物联网(27)
flink(27)
mapreduce(25)
网络安全(25)
数据分析(25)
https(25)
linux(24)
网站(24)
文件存储(22)
yarn(22)
apache(21)
分布式(21)
数据结构(21)
配置(21)
ide(19)
javascript(18)
scala(17)
xml(17)
spring(17)
基础(17)
函数(16)
windows(15)
html(14)
腾讯云测试服务(14)
容器(14)
缓存(14)
设计(14)
jar(13)
maven(13)
http(13)
tcp/ip(13)
数据处理(13)
工程师(13)
机器学习(12)
vue.js(12)
进程(11)
语法(11)
bash(10)
打包(10)
容器镜像服务(10)
数据湖(10)
部署(10)
可视化(10)
统计(10)
json(9)
nosql(9)
微服务(9)
pyspark(9)
oracle(8)
shell(8)
面向对象编程(8)
jdbc(8)
腾讯云开发者社区(8)
gpt(8)
编码(8)
工具(8)
集群(8)
tomcat(7)
nginx(7)
消息队列 CMQ 版(7)
yum(7)
zookeeper(7)
openai(7)
笔记(7)
博客(7)
测试(7)
公众号(7)
系统(7)
php(6)
bash 指令(6)
推荐系统(6)
微信(6)
云计算(6)
bi(6)
flume(6)
table(6)
教程(6)
解决方案(6)
内存(6)
算法(6)
索引(6)
数据接口(6)
对象存储(5)
c++(5)
jsp(5)
unix(5)
人工智能(5)
电商(5)
企业(5)
jdk(5)
mybatis(5)
数据可视化(5)
虚拟化(5)
es(5)
error(5)
mysql(5)
全栈(5)
视频(5)
腾讯(5)
原理(5)
字符串(5)
ajax(4)
云数据库 Redis(4)
mvc(4)
git(4)
github(4)
全文检索(4)
深度学习(4)
专用宿主机(4)
访问管理(4)
日志数据(4)
数据安全(4)
hashmap(4)
二叉树(4)
aop(4)
插件(4)
程序(4)
服务器(4)
镜像(4)
连接(4)
入门(4)
事务(4)
搜索(4)
线程(4)
优化(4)
AI绘画(4)
其他(3)
自动驾驶(3)
servlet(3)
react(3)
jquery(3)
access(3)
搜索引擎(3)
lucene/solr(3)
神经网络(3)
日志服务(3)
游戏(3)
运维(3)
jvm(3)
正则表达式(3)
rpc(3)
sdn(3)
airflow(3)
exception(3)
gateway(3)
join(3)
mq(3)
nested(3)
prompt(3)
redis(3)
set(3)
shuffle(3)
编程(3)
产品(3)
队列(3)
对象(3)
工作(3)
集合(3)
脚本(3)
接口(3)
开发(3)
开发者(3)
论文(3)
排序(3)
日志(3)
软件(3)
同步(3)
需求分析(3)
负载均衡(2)
NLP 服务(2)
c#(2)
regex(2)
css(2)
负载均衡缓存(2)
批量计算(2)
mongodb(2)
serverless(2)
parcel(2)
开源(2)
自动化(2)
ssh(2)
监督学习(2)
rabbitmq(2)
kernel(2)
spring cloud(2)
安全(2)
机器人(2)
系统架构(2)
mvcc(2)
ascii(2)
sdk(2)
迁移(2)
实时etl(2)
数据库管理(2)
app(2)
break(2)
bug(2)
char(2)
com(2)
config(2)
connect(2)
connection(2)
csv(2)
for循环(2)
hdfs(2)
host(2)
list(2)
map(2)
null(2)
pandas(2)
pip(2)
process(2)
pycharm(2)
rdd(2)
select(2)
server(2)
service(2)
time(2)
truncate(2)
version(2)
video(2)
view(2)
word(2)
百度(2)
变量(2)
编译(2)
代理(2)
多线程(2)
工作流(2)
管理(2)
架构(2)
框架(2)
实践(2)
数据存储(2)
数据类型(2)
数学(2)
数组(2)
图表(2)
网关(2)
微信公众号(2)
效率(2)
性能(2)
异步(2)
源码(2)
费用中心(1)
云服务器(1)
内容分发网络 CDN(1)
ruby(1)
bootstrap(1)
ecmascript(1)
android(1)
eclipse(1)
ubuntu(1)
centos(1)
容器服务(1)
云直播(1)
命令行工具(1)
云推荐引擎(1)
DevOps 解决方案(1)
数据备份(1)
o2o(1)
渲染(1)
vr 视频解决方案(1)
express(1)
kubernetes(1)
压力测试(1)
数据迁移(1)
无人驾驶(1)
wordpress(1)
强化学习(1)
spring boot(1)
线性回归(1)
npm(1)
seo(1)
dubbo(1)
jenkins(1)
gradle(1)
scikit-learn(1)
socket编程(1)
lamp(1)
ntp(1)
小程序(1)
网站建设(1)
nat(1)
processing(1)
信息流(1)
任务调度(1)
防火墙(1)
聚类算法(1)
实时监控(1)
Elasticsearch Service(1)
数据集成(1)
大数据存储(1)
汽车(1)
教育(1)
腾讯云(1)
alias(1)
alpha(1)
amqp(1)
apollo(1)
async(1)
backend(1)
between(1)
chat(1)
chatgpt(1)
classnotfoundexception(1)
clickhouse(1)
cloud(1)
cloudera(1)
code(1)
conda(1)
core(1)
count(1)
cpu(1)
data(1)
date(1)
default(1)
dll(1)
docx(1)
drawing(1)
ear(1)
echarts(1)
edge(1)
equals(1)
excel(1)
exec(1)
execution(1)
export(1)
field(1)
fifo(1)
function(1)
geo(1)
having(1)
hibernate(1)
ibatis(1)
import(1)
insert(1)
int(1)
io(1)
it(1)
jetbrains(1)
jetty(1)
key(1)
live(1)
location(1)
matplotlib(1)
meta(1)
model(1)
monitor(1)
packet(1)
partition(1)
path(1)
port(1)
prometheus(1)
ps(1)
queue(1)
regexp(1)
registry(1)
reset(1)
root(1)
rows(1)
runtimeexception(1)
socket(1)
sqoop(1)
ssl(1)
substr(1)
sys(1)
tampermonkey(1)
target(1)
this(1)
thread(1)
timeout(1)
token(1)
txt(1)
types(1)
unique(1)
vim(1)
window(1)
worker(1)
zero(1)
报表(1)
备份(1)
编辑器(1)
遍历(1)
并发(1)
操作系统(1)
产品经理(1)
程序设计(1)
程序员(1)
磁盘(1)
登录(1)
递归(1)
地图(1)
多进程(1)
二进制(1)
二维码(1)
翻译(1)
分页(1)
高可用(1)
工具类(1)
行业(1)
华为(1)
技巧(1)
计算机(1)
加密(1)
监控(1)
客户端(1)
科技(1)
流量(1)
内核(1)
配色(1)
权限(1)
生命周期(1)
事件(1)
实时计算(1)
手机(1)
数据仓库(1)
数据管理(1)
数据结构与算法(1)
数据同步(1)
推送(1)
网络(1)
协议(1)
性能监控(1)
虚拟机(1)
压缩(1)
异常(1)
域名(1)
在线教育(1)
主机(1)
LLM(1)
搜索文章
搜索
搜索
关闭
金三银四V2.0之大数据面试常见的10个问题
数据库
数据处理
sql
存储
hive
面试官你好,我是面试咱们公司大数据开发实习岗位的xxx,曾就读于xx学校数据科学与大数据专业,2022年毕业。
Maynor
2023-02-01
933
0
大数据物流项目:Kudu 入门使用(五)
存储
数据处理
数据结构
hbase
TDSQL MySQL 版
KUDU 支持用户对一个表指定一个范围分区规则和多个 Hash 分区规则,如下图:
Maynor
2022-11-30
1.1K
0
DCM:中间件家族迎来新成员
java
nosql
数据库
sql
数据处理
现代应用无时无刻不在与数据打交道,数据计算无处不在,报表统计、数据分析、业务处理不一而足。当前数据处理的主要手段仍然是以关系数据库为代表的相关技术,虽然使用高级语言(如Java)硬编码也能实现各类计算,但远不如数据库(SQL)方便,数据库在当代数据处理中仍然发挥举足轻重的作用。
Maynor
2022-06-01
397
0
hadoop必知必会的基本知识
大数据
数据处理
mapreduce
这种架构主要由四个部分组成,分别为HDFS Client、NameNode、DataNode和Secondary NameNode。下面我们分别介绍这四个组成部分。 1)Client:就是客户端。 (1)文件切分。文件上传HDFS的时候,Client将文件切分成一个一个的Block,然后进行存储; (2)与NameNode交互,获取文件的位置信息; (3)与DataNode交互,读取或者写入数据; (4)Client提供一些命令来管理HDFS,比如启动或者关闭HDFS; (5)Client可以通过一些命令来访问HDFS; 2)NameNode:就是Master,它是一个主管、管理者。 (1)管理HDFS的名称空间; (2)管理数据块(Block)映射信息; (3)配置副本策略; (4)处理客户端读写请求。 3)DataNode:就是Slave。NameNode下达命令,DataNode执行实际的操作。 (1)存储实际的数据块; (2)执行数据块的读/写操作。 4)Secondary NameNode:并非NameNode的热备。当NameNode挂掉的时候,它并不能马上替换NameNode并提供服务。 (1)辅助NameNode,分担其工作量; (2)定期合并Fsimage和Edits,并推送给NameNode; (3)在紧急情况下,可辅助恢复NameNode。
Maynor
2022-05-08
417
0
今日指数项目之项目介绍和数据采集【四】
windows
存储
数据处理
hive
云数据库 Redis
基于flink实时流计算的,金融证券项目,实时大屏展示,预警模块和离线模块的处理。
Maynor
2022-04-11
555
0
大数据Flink面试考题___Flink高频考点,万字超全整理(建议)
编程算法
数据处理
api
分布式
windows
1.下面哪个不是 Dataset的转换算子() A. readTextFile B reduce distinct D rebalance
Maynor
2021-12-30
1.3K
0
hadoop必知必会的基本知识
大数据
数据处理
mapreduce
这种架构主要由四个部分组成,分别为HDFS Client、NameNode、DataNode和Secondary NameNode。下面我们分别介绍这四个组成部分。 1)Client:就是客户端。 (1)文件切分。文件上传HDFS的时候,Client将文件切分成一个一个的Block,然后进行存储; (2)与NameNode交互,获取文件的位置信息; (3)与DataNode交互,读取或者写入数据; (4)Client提供一些命令来管理HDFS,比如启动或者关闭HDFS; (5)Client可以通过一些命令来访问HDFS; 2)NameNode:就是Master,它是一个主管、管理者。 (1)管理HDFS的名称空间; (2)管理数据块(Block)映射信息; (3)配置副本策略; (4)处理客户端读写请求。 3)DataNode:就是Slave。NameNode下达命令,DataNode执行实际的操作。 (1)存储实际的数据块; (2)执行数据块的读/写操作。 4)Secondary NameNode:并非NameNode的热备。当NameNode挂掉的时候,它并不能马上替换NameNode并提供服务。 (1)辅助NameNode,分担其工作量; (2)定期合并Fsimage和Edits,并推送给NameNode; (3)在紧急情况下,可辅助恢复NameNode。
Maynor
2021-12-07
394
0
Python+大数据学习笔记(一)
spark
python
数据处理
pyspark: • pyspark = python + spark • 在pandas、numpy进行数据处理时,一次性将数据读入 内存中,当数据很大时内存溢出,无法处理;此外,很 多执行算法是单线程处理,不能充分利用cpu性能 spark的核心概念之一是shuffle,它将数据集分成数据块, 好处是: • 在读取数据时,不是将数据一次性全部读入内存中,而 是分片,用时间换空间进行大数据处理 • 极大的利用了CPU资源 • 支持分布式结构,弹性拓展硬件资源。
Maynor
2021-12-07
4.5K
0
Note_Spark_Day14:Structured Streaming(以结构化方式处理流式数据,底层分析引擎SparkSQL引擎)
kafka
物联网
数据处理
processing
日志数据
连续处理(Continuous Processing)是“真正”的流处理,通过运行一个long-running的operator用来处理数据。
Maynor
2021-12-07
2.4K
0
Note_Spark_Day13:Structured Streaming(内置数据源、自定义Sink(2种方式)和集成Kafka)
kafka
javascript
python
数据处理
批量计算
此检查点位置必须是HDFS兼容文件系统中的路径,两种方式设置Checkpoint Location位置:
Maynor
2021-12-07
2.6K
0
【Spark Streaming】Spark Day10:Spark Streaming 学习笔记
spark
数据库
sql
批量计算
数据处理
首先,学习SparkStreaming流式计算模块,以批处理思想处理流式数据,进行实时分析。
Maynor
2021-12-06
1.1K
0
大数据Flink面试考题___Flink高频考点,万字超全整理(建议收藏)
编程算法
数据处理
api
分布式
windows
1.下面哪个不是 Dataset的转换算子() A. readTextFile B reduce distinct D rebalance
Maynor
2021-06-29
1.9K
0
漫谈数字经济和个人发展
大数据
hadoop
数据处理
数据分析
报告以"迈入数字时代"为始,开启了演讲。[1]追溯数字时代的发展历程可从上世纪四十年代计算机的发明开始,直至今日的大数据时代的到来。期间数字技术从未停止发展的步伐,有别于传统数据处理方案的数据量小,记录不完整,结构单一,大数据技术诞生之初,便为海量数据的处理提供解决方案。
Maynor
2021-04-09
430
0
没有更多了
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
立即查看
Python精品学习库
代码在线跑,知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档