腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
最新最全的大数据技术体系
专栏成员
举报
751
文章
644593
阅读量
35
订阅数
订阅专栏
申请加入专栏
全部文章(751)
大数据(216)
sql(121)
数据库(111)
编程算法(110)
数据(87)
java(70)
spark(68)
hive(66)
node.js(65)
kafka(51)
hadoop(49)
python(47)
存储(45)
hbase(39)
云数据库 SQL Server(32)
TDSQL MySQL 版(30)
模型(30)
服务(28)
api(27)
物联网(27)
flink(27)
mapreduce(25)
网络安全(25)
数据分析(25)
https(25)
linux(24)
网站(24)
文件存储(22)
yarn(22)
apache(21)
分布式(21)
数据结构(21)
配置(21)
ide(19)
javascript(18)
scala(17)
xml(17)
spring(17)
基础(17)
函数(16)
windows(15)
html(14)
腾讯云测试服务(14)
容器(14)
缓存(14)
设计(14)
jar(13)
maven(13)
http(13)
tcp/ip(13)
数据处理(13)
工程师(13)
机器学习(12)
vue.js(12)
进程(11)
语法(11)
bash(10)
打包(10)
容器镜像服务(10)
数据湖(10)
部署(10)
可视化(10)
统计(10)
json(9)
nosql(9)
微服务(9)
pyspark(9)
oracle(8)
shell(8)
面向对象编程(8)
jdbc(8)
腾讯云开发者社区(8)
gpt(8)
编码(8)
工具(8)
集群(8)
tomcat(7)
nginx(7)
消息队列 CMQ 版(7)
yum(7)
zookeeper(7)
openai(7)
笔记(7)
博客(7)
测试(7)
公众号(7)
系统(7)
php(6)
bash 指令(6)
推荐系统(6)
微信(6)
云计算(6)
bi(6)
flume(6)
table(6)
教程(6)
解决方案(6)
内存(6)
算法(6)
索引(6)
数据接口(6)
对象存储(5)
c++(5)
jsp(5)
unix(5)
人工智能(5)
电商(5)
企业(5)
jdk(5)
mybatis(5)
数据可视化(5)
虚拟化(5)
es(5)
error(5)
mysql(5)
全栈(5)
视频(5)
腾讯(5)
原理(5)
字符串(5)
ajax(4)
云数据库 Redis(4)
mvc(4)
git(4)
github(4)
全文检索(4)
深度学习(4)
专用宿主机(4)
访问管理(4)
日志数据(4)
数据安全(4)
hashmap(4)
二叉树(4)
aop(4)
插件(4)
程序(4)
服务器(4)
镜像(4)
连接(4)
入门(4)
事务(4)
搜索(4)
线程(4)
优化(4)
AI绘画(4)
其他(3)
自动驾驶(3)
servlet(3)
react(3)
jquery(3)
access(3)
搜索引擎(3)
lucene/solr(3)
神经网络(3)
日志服务(3)
游戏(3)
运维(3)
jvm(3)
正则表达式(3)
rpc(3)
sdn(3)
airflow(3)
exception(3)
gateway(3)
join(3)
mq(3)
nested(3)
prompt(3)
redis(3)
set(3)
shuffle(3)
编程(3)
产品(3)
队列(3)
对象(3)
工作(3)
集合(3)
脚本(3)
接口(3)
开发(3)
开发者(3)
论文(3)
排序(3)
日志(3)
软件(3)
同步(3)
需求分析(3)
负载均衡(2)
NLP 服务(2)
c#(2)
regex(2)
css(2)
负载均衡缓存(2)
批量计算(2)
mongodb(2)
serverless(2)
parcel(2)
开源(2)
自动化(2)
ssh(2)
监督学习(2)
rabbitmq(2)
kernel(2)
spring cloud(2)
安全(2)
机器人(2)
系统架构(2)
mvcc(2)
ascii(2)
sdk(2)
迁移(2)
实时etl(2)
数据库管理(2)
app(2)
break(2)
bug(2)
char(2)
com(2)
config(2)
connect(2)
connection(2)
csv(2)
for循环(2)
hdfs(2)
host(2)
list(2)
map(2)
null(2)
pandas(2)
pip(2)
process(2)
pycharm(2)
rdd(2)
select(2)
server(2)
service(2)
time(2)
truncate(2)
version(2)
video(2)
view(2)
word(2)
百度(2)
变量(2)
编译(2)
代理(2)
多线程(2)
工作流(2)
管理(2)
架构(2)
框架(2)
实践(2)
数据存储(2)
数据类型(2)
数学(2)
数组(2)
图表(2)
网关(2)
微信公众号(2)
效率(2)
性能(2)
异步(2)
源码(2)
费用中心(1)
云服务器(1)
内容分发网络 CDN(1)
ruby(1)
bootstrap(1)
ecmascript(1)
android(1)
eclipse(1)
ubuntu(1)
centos(1)
容器服务(1)
云直播(1)
命令行工具(1)
云推荐引擎(1)
DevOps 解决方案(1)
数据备份(1)
o2o(1)
渲染(1)
vr 视频解决方案(1)
express(1)
kubernetes(1)
压力测试(1)
数据迁移(1)
无人驾驶(1)
wordpress(1)
强化学习(1)
spring boot(1)
线性回归(1)
npm(1)
seo(1)
dubbo(1)
jenkins(1)
gradle(1)
scikit-learn(1)
socket编程(1)
lamp(1)
ntp(1)
小程序(1)
网站建设(1)
nat(1)
processing(1)
信息流(1)
任务调度(1)
防火墙(1)
聚类算法(1)
实时监控(1)
Elasticsearch Service(1)
数据集成(1)
大数据存储(1)
汽车(1)
教育(1)
腾讯云(1)
alias(1)
alpha(1)
amqp(1)
apollo(1)
async(1)
backend(1)
between(1)
chat(1)
chatgpt(1)
classnotfoundexception(1)
clickhouse(1)
cloud(1)
cloudera(1)
code(1)
conda(1)
core(1)
count(1)
cpu(1)
data(1)
date(1)
default(1)
dll(1)
docx(1)
drawing(1)
ear(1)
echarts(1)
edge(1)
equals(1)
excel(1)
exec(1)
execution(1)
export(1)
field(1)
fifo(1)
function(1)
geo(1)
having(1)
hibernate(1)
ibatis(1)
import(1)
insert(1)
int(1)
io(1)
it(1)
jetbrains(1)
jetty(1)
key(1)
live(1)
location(1)
matplotlib(1)
meta(1)
model(1)
monitor(1)
packet(1)
partition(1)
path(1)
port(1)
prometheus(1)
ps(1)
queue(1)
regexp(1)
registry(1)
reset(1)
root(1)
rows(1)
runtimeexception(1)
socket(1)
sqoop(1)
ssl(1)
substr(1)
sys(1)
tampermonkey(1)
target(1)
this(1)
thread(1)
timeout(1)
token(1)
txt(1)
types(1)
unique(1)
vim(1)
window(1)
worker(1)
zero(1)
报表(1)
备份(1)
编辑器(1)
遍历(1)
并发(1)
操作系统(1)
产品经理(1)
程序设计(1)
程序员(1)
磁盘(1)
登录(1)
递归(1)
地图(1)
多进程(1)
二进制(1)
二维码(1)
翻译(1)
分页(1)
高可用(1)
工具类(1)
行业(1)
华为(1)
技巧(1)
计算机(1)
加密(1)
监控(1)
客户端(1)
科技(1)
流量(1)
内核(1)
配色(1)
权限(1)
生命周期(1)
事件(1)
实时计算(1)
手机(1)
数据仓库(1)
数据管理(1)
数据结构与算法(1)
数据同步(1)
推送(1)
网络(1)
协议(1)
性能监控(1)
虚拟机(1)
压缩(1)
异常(1)
域名(1)
在线教育(1)
主机(1)
LLM(1)
搜索文章
搜索
搜索
关闭
Apache Impala(demo)
数据分析
mapreduce
hive
数据库
大数据
一、Apache Impala 1.Impala基本介绍 impala是cloudera提供的一款高效率的sql查询工具,提供实时的查询效果,官方测试性能比hive快10到100倍,其sql查询比sparkSQL还要更加快速,号称是当前大数据领域最快的查询sql工具, impala是参照谷歌的新三篇论文(Caffeine–网络搜索引擎、Pregel–分布式图计算、Dremel–交互式分析工具)当中的Dremel实现而来,其中旧三篇论文分别是(BigTable,GFS,MapReduce)分别对应我们即将学的HBase和已经学过的HDFS以及MapReduce。 impala是基于hive并使用内存进行计算,兼顾数据仓库,具有实时,批处理,多并发等优点。
Maynor
2022-11-30
406
0
工作常用之Hive 调优【四】HQL 语法优化
mapreduce
jquery
sql
编程算法
hive
列裁剪就是在查询时只读取需要的列,分区裁剪就是只读取需要的分区。当列很多或者
Maynor
2022-10-04
978
0
hadoop必知必会的基本知识
大数据
数据处理
mapreduce
这种架构主要由四个部分组成,分别为HDFS Client、NameNode、DataNode和Secondary NameNode。下面我们分别介绍这四个组成部分。 1)Client:就是客户端。 (1)文件切分。文件上传HDFS的时候,Client将文件切分成一个一个的Block,然后进行存储; (2)与NameNode交互,获取文件的位置信息; (3)与DataNode交互,读取或者写入数据; (4)Client提供一些命令来管理HDFS,比如启动或者关闭HDFS; (5)Client可以通过一些命令来访问HDFS; 2)NameNode:就是Master,它是一个主管、管理者。 (1)管理HDFS的名称空间; (2)管理数据块(Block)映射信息; (3)配置副本策略; (4)处理客户端读写请求。 3)DataNode:就是Slave。NameNode下达命令,DataNode执行实际的操作。 (1)存储实际的数据块; (2)执行数据块的读/写操作。 4)Secondary NameNode:并非NameNode的热备。当NameNode挂掉的时候,它并不能马上替换NameNode并提供服务。 (1)辅助NameNode,分担其工作量; (2)定期合并Fsimage和Edits,并推送给NameNode; (3)在紧急情况下,可辅助恢复NameNode。
Maynor
2022-05-08
417
0
❤️hadoop常用命令总结及百万调优❤️
hadoop
大数据
mapreduce
yarn
bash
以下参数是在用户自己的MR应用程序中配置就可以生效(mapred-default.xml)
Maynor
2022-05-08
310
0
对给定的数据利用MapReduce编程实现数据的清洗和预处理,编程实现数据存储到HBase数据库,实现数据的增删改查操作接口
mapreduce
数据集: 链接:https://pan.baidu.com/s/1rnUJn5ld45HpLhzbwYIM1A
Maynor
2022-04-14
350
0
对给定的数据利用MapReduce编程实现数据的清洗和预处理
mapreduce
数据集: 链接:https://pan.baidu.com/s/1rnUJn5ld45HpLhzbwYIM1A 提取码:7bsd
Maynor
2021-12-20
709
0
hadoop必知必会的基本知识
大数据
数据处理
mapreduce
这种架构主要由四个部分组成,分别为HDFS Client、NameNode、DataNode和Secondary NameNode。下面我们分别介绍这四个组成部分。 1)Client:就是客户端。 (1)文件切分。文件上传HDFS的时候,Client将文件切分成一个一个的Block,然后进行存储; (2)与NameNode交互,获取文件的位置信息; (3)与DataNode交互,读取或者写入数据; (4)Client提供一些命令来管理HDFS,比如启动或者关闭HDFS; (5)Client可以通过一些命令来访问HDFS; 2)NameNode:就是Master,它是一个主管、管理者。 (1)管理HDFS的名称空间; (2)管理数据块(Block)映射信息; (3)配置副本策略; (4)处理客户端读写请求。 3)DataNode:就是Slave。NameNode下达命令,DataNode执行实际的操作。 (1)存储实际的数据块; (2)执行数据块的读/写操作。 4)Secondary NameNode:并非NameNode的热备。当NameNode挂掉的时候,它并不能马上替换NameNode并提供服务。 (1)辅助NameNode,分担其工作量; (2)定期合并Fsimage和Edits,并推送给NameNode; (3)在紧急情况下,可辅助恢复NameNode。
Maynor
2021-12-07
397
0
hadoop常用命令总结及百万调优
hadoop
大数据
mapreduce
yarn
bash
以下参数是在用户自己的MR应用程序中配置就可以生效(mapred-default.xml)
Maynor
2021-12-07
342
0
【秋招面试】货拉拉面试(1面过程)
hive
hbase
TDSQL MySQL 版
大数据
mapreduce
下面是面试题: 由于我准备面试时大部分的项目准备是围绕数据仓库开发准备的, 而我面试的是货拉拉的大数据开发岗, 所以整个面试过程面试官也在反复和我确认到底是面试应用开发还是数仓开发。。。
Maynor
2021-12-07
544
0
大数据开发岗面试复习30天冲刺 - 日积月累,每日五题【Day12】——Hbase6
hbase
TDSQL MySQL 版
大数据
mapreduce
javascript
•step1:数据写入的时候,只写入内存 •step2:将数据在内存构建有序,当数据量大的时候,将有序的数据写入磁盘,变成一个有序的数据文件 •step3:基于所有有序的小文件进行合并,合并为一个整体有序的大文件
Maynor
2021-12-07
173
0
大数据开发岗面试复习30天冲刺 - 日积月累,每日五题【Day13】——Hbase7
hbase
TDSQL MySQL 版
kafka
mapreduce
大数据
•MapReduce写入Hbase原理:封装了一个TableOutputFormat来实现写入Hbase的数据 •要求 –写入Hbase的数据的V的类型必须为Put类型
Maynor
2021-12-07
286
0
大数据开发岗面试复习30天冲刺 - 日积月累,每日五题【Day10】——Hbase4
hbase
TDSQL MySQL 版
hive
mapreduce
sql
•个数原则:如果列的个数比较多,建议2 ~ 3个,如果列的个数比较少,建议1个 –列族个数多了,导致比较次数变多,降低性能 –列族个数少了,导致列的比较次数变多,降低性能 •长度原则 :能满足业务需求的情况下,越短越好
Maynor
2021-12-07
217
0
最新大数据集群安装方法CentOS7.6__大数据环境安装和配置
hadoop
mapreduce
大数据
hive
https
大数据环境安装和配置(Hadoop2.7.7,Hive2.3.4,Zookeeper3.4.10,Kafka2.1.0,Flume1.8.0,Hbase2.1.1,Spark2.4.0等)
Maynor
2021-12-07
474
0
【Spark】Spark Core Day04
缓存
python
css
spark
mapreduce
官方文档:http://spark.apache.org/docs/latest/rdd-programming-guide.html#rdd-operations
Maynor
2021-12-07
442
0
大数据开发岗面试复习30天冲刺 - 日积月累,每日五题【Day26】——Spark13
spark
mapreduce
yarn
node.js
编程算法
5)计算各分区时优先的位置列表(可选),比如从HDFS上的文件生成RDD时,RDD分区的位置优先选择数据所在的节点,这样可以避免数据移动带来的开销。
Maynor
2021-12-07
232
0
大数据开发岗面试复习30天冲刺 - 日积月累,每日五题【Day25】——Spark12
文件存储
spark
mapreduce
tcp/ip
1)原理: 计算能力调度器支持多个队列,每个队列可配置一定的资源量,每个队列采用 FIFO 调度策略,为了防止同一个用户的作业独占队列中的资源,该调度器会对 同一用户提交的作业所占资源量进行限定。调度时,首先按以下策略选择一个合适队列:计算每个队列中正在运行的任务数与其应该分得的计算资源之间的 比值(即比较空闲的队列),选择一个该比值最小的队列;然后按以下策略选择该队列中一个作业:按照作业优先级和提交时间顺序选择, 同时考虑用户资源量限制和内存限制 2)优点: (1)计算能力保证。支持多个队列,某个作业可被提交到某一个队列中。每个队列会配置一定比例的计算资源,且所有提交到队列中的作业 共享该队列中的资源; (2)灵活性。空闲资源会被分配给那些未达到资源使用上限的队列,当某个未达到资源的队列需要资源时,一旦出现空闲资源资源,便会分配给他们; (3)支持优先级。队列支持作业优先级调度(默认是FIFO); (4)多重租赁。综合考虑多种约束防止单个作业、用户或者队列独占队列或者集群中的资源; (5)基于资源的调度。支持资源密集型作业,允许作业使用的资源量高于默认值,进而可容纳不同资源需求的作业。不过,当前仅支持内存资源的调度。
Maynor
2021-12-07
218
0
大数据开发岗面试复习30天冲刺 - 日积月累,每日五题【Day23】——Spark10
spark
mapreduce
hadoop
不一定,除了一对一的窄依赖,还包含一对固定个数的窄依赖(就是对父RDD的依赖的Partition的数量不会随着RDD数量规模的改变而改变), 比如join操作的每个partiion仅仅和已知的partition进行join,这个join操作是窄依赖,依赖固定数量的父rdd,因为是确定的partition关系。
Maynor
2021-12-07
276
0
大数据开发岗面试复习30天冲刺 - 日积月累,每日五题【Day14】——Spark1
yarn
node.js
spark
mapreduce
为什么要进行持久化? spark所有复杂一点的算法都会有persist身影,spark默认数据放在内存,spark很多内容都是放在内存的,非常适合高速迭代,1000个步骤只有第一个输入数据,中间不产生临时数据,但分布式系统风险很高,所以容易出错,就要容错,rdd出错或者分片可以根据血统算出来,如果没有对父rdd进行persist 或者cache优化,就需要重头做。 以下场景会使用persist 1)某个步骤计算非常耗时,需要进行persist持久化 2)计算链条非常长,重新恢复要算很多步骤,很好使,persist 3)checkpoint所在的rdd要持久化persist。checkpoint前,要持久化,写个rdd.cache或者rdd.persist,将结果保存起来,再写checkpoint操作,这样执行起来会非常快,不需要重新计算rdd链条了。checkpoint之前一定会进行persist。 4)shuffle之后要persist,shuffle要进性网络传输,风险很大,数据丢失重来,恢复代价很大 5)shuffle之前进行persist,框架默认将数据持久化到磁盘,这个是框架自动做的。
Maynor
2021-12-07
225
0
11月大数据面试题复习
spark
大数据
编程算法
对象存储
mapreduce
2 为什么要前后端分离开发?前后端分离开发的优势和劣势? 让专业的人做专业的事情 优势:分工明确,各司其职 劣质:前后端联调需要消耗比较多的时间
Maynor
2021-12-06
707
0
MapReduce:出租车数据案例
mapreduce
链接: https://pan.baidu.com/s/1cFbcj5tz5Gy6AljgpPBTyg
Maynor
2021-12-06
4.1K
0
点击加载更多
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
立即查看
Python精品学习库
代码在线跑,知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档