腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
最新最全的大数据技术体系
专栏成员
举报
751
文章
642528
阅读量
35
订阅数
订阅专栏
申请加入专栏
全部文章（751）
大数据（216）
sql（121）
数据库（111）
编程算法（110）
数据（87）
java（70）
spark（68）
hive（66）
node.js（65）
kafka（51）
hadoop（49）
python（47）
存储（45）
hbase（39）
云数据库 SQL Server（32）
TDSQL MySQL 版（30）
模型（30）
服务（28）
api（27）
物联网（27）
flink（27）
mapreduce（25）
网络安全（25）
数据分析（25）
https（25）
linux（24）
网站（24）
文件存储（22）
yarn（22）
apache（21）
分布式（21）
数据结构（21）
配置（21）
ide（19）
javascript（18）
scala（17）
xml（17）
spring（17）
基础（17）
函数（16）
windows（15）
html（14）
腾讯云测试服务（14）
容器（14）
缓存（14）
设计（14）
jar（13）
maven（13）
http（13）
tcp/ip（13）
数据处理（13）
工程师（13）
机器学习（12）
vue.js（12）
进程（11）
语法（11）
bash（10）
打包（10）
容器镜像服务（10）
数据湖（10）
部署（10）
可视化（10）
统计（10）
json（9）
nosql（9）
微服务（9）
pyspark（9）
oracle（8）
shell（8）
面向对象编程（8）
jdbc（8）
腾讯云开发者社区（8）
gpt（8）
编码（8）
工具（8）
集群（8）
tomcat（7）
nginx（7）
消息队列 CMQ 版（7）
yum（7）
zookeeper（7）
openai（7）
笔记（7）
博客（7）
测试（7）
公众号（7）
系统（7）
php（6）
bash 指令（6）
推荐系统（6）
微信（6）
云计算（6）
bi（6）
flume（6）
table（6）
教程（6）
解决方案（6）
内存（6）
算法（6）
索引（6）
数据接口（6）
对象存储（5）
c++（5）
jsp（5）
unix（5）
人工智能（5）
电商（5）
企业（5）
jdk（5）
mybatis（5）
数据可视化（5）
虚拟化（5）
es（5）
error（5）
mysql（5）
全栈（5）
视频（5）
腾讯（5）
原理（5）
字符串（5）
ajax（4）
云数据库 Redis（4）
mvc（4）
git（4）
github（4）
全文检索（4）
深度学习（4）
专用宿主机（4）
访问管理（4）
日志数据（4）
数据安全（4）
hashmap（4）
二叉树（4）
aop（4）
插件（4）
程序（4）
服务器（4）
镜像（4）
连接（4）
入门（4）
事务（4）
搜索（4）
线程（4）
优化（4）
AI绘画（4）
其他（3）
自动驾驶（3）
servlet（3）
react（3）
jquery（3）
access（3）
搜索引擎（3）
lucene/solr（3）
神经网络（3）
日志服务（3）
游戏（3）
运维（3）
jvm（3）
正则表达式（3）
rpc（3）
sdn（3）
airflow（3）
exception（3）
gateway（3）
join（3）
mq（3）
nested（3）
prompt（3）
redis（3）
set（3）
shuffle（3）
编程（3）
产品（3）
队列（3）
对象（3）
工作（3）
集合（3）
脚本（3）
接口（3）
开发（3）
开发者（3）
论文（3）
排序（3）
日志（3）
软件（3）
同步（3）
需求分析（3）
负载均衡（2）
NLP 服务（2）
c#（2）
regex（2）
css（2）
负载均衡缓存（2）
批量计算（2）
mongodb（2）
serverless（2）
parcel（2）
开源（2）
自动化（2）
ssh（2）
监督学习（2）
rabbitmq（2）
kernel（2）
spring cloud（2）
安全（2）
机器人（2）
系统架构（2）
mvcc（2）
ascii（2）
sdk（2）
迁移（2）
实时etl（2）
数据库管理（2）
app（2）
break（2）
bug（2）
char（2）
com（2）
config（2）
connect（2）
connection（2）
csv（2）
for循环（2）
hdfs（2）
host（2）
list（2）
map（2）
null（2）
pandas（2）
pip（2）
process（2）
pycharm（2）
rdd（2）
select（2）
server（2）
service（2）
time（2）
truncate（2）
version（2）
video（2）
view（2）
word（2）
百度（2）
变量（2）
编译（2）
代理（2）
多线程（2）
工作流（2）
管理（2）
架构（2）
框架（2）
实践（2）
数据存储（2）
数据类型（2）
数学（2）
数组（2）
图表（2）
网关（2）
微信公众号（2）
效率（2）
性能（2）
异步（2）
源码（2）
费用中心（1）
云服务器（1）
内容分发网络 CDN（1）
ruby（1）
bootstrap（1）
ecmascript（1）
android（1）
eclipse（1）
ubuntu（1）
centos（1）
容器服务（1）
云直播（1）
命令行工具（1）
云推荐引擎（1）
DevOps 解决方案（1）
数据备份（1）
o2o（1）
渲染（1）
vr 视频解决方案（1）
express（1）
kubernetes（1）
压力测试（1）
数据迁移（1）
无人驾驶（1）
wordpress（1）
强化学习（1）
spring boot（1）
线性回归（1）
npm（1）
seo（1）
dubbo（1）
jenkins（1）
gradle（1）
scikit-learn（1）
socket编程（1）
lamp（1）
ntp（1）
小程序（1）
网站建设（1）
nat（1）
processing（1）
信息流（1）
任务调度（1）
防火墙（1）
聚类算法（1）
实时监控（1）
Elasticsearch Service（1）
数据集成（1）
大数据存储（1）
汽车（1）
教育（1）
腾讯云（1）
alias（1）
alpha（1）
amqp（1）
apollo（1）
async（1）
backend（1）
between（1）
chat（1）
chatgpt（1）
classnotfoundexception（1）
clickhouse（1）
cloud（1）
cloudera（1）
code（1）
conda（1）
core（1）
count（1）
cpu（1）
data（1）
date（1）
default（1）
dll（1）
docx（1）
drawing（1）
ear（1）
echarts（1）
edge（1）
equals（1）
excel（1）
exec（1）
execution（1）
export（1）
field（1）
fifo（1）
function（1）
geo（1）
having（1）
hibernate（1）
ibatis（1）
import（1）
insert（1）
int（1）
io（1）
it（1）
jetbrains（1）
jetty（1）
key（1）
live（1）
location（1）
matplotlib（1）
meta（1）
model（1）
monitor（1）
packet（1）
partition（1）
path（1）
port（1）
prometheus（1）
ps（1）
queue（1）
regexp（1）
registry（1）
reset（1）
root（1）
rows（1）
runtimeexception（1）
socket（1）
sqoop（1）
ssl（1）
substr（1）
sys（1）
tampermonkey（1）
target（1）
this（1）
thread（1）
timeout（1）
token（1）
txt（1）
types（1）
unique（1）
vim（1）
window（1）
worker（1）
zero（1）
报表（1）
备份（1）
编辑器（1）
遍历（1）
并发（1）
操作系统（1）
产品经理（1）
程序设计（1）
程序员（1）
磁盘（1）
登录（1）
递归（1）
地图（1）
多进程（1）
二进制（1）
二维码（1）
翻译（1）
分页（1）
高可用（1）
工具类（1）
行业（1）
华为（1）
技巧（1）
计算机（1）
加密（1）
监控（1）
客户端（1）
科技（1）
流量（1）
内核（1）
配色（1）
权限（1）
生命周期（1）
事件（1）
实时计算（1）
手机（1）
数据仓库（1）
数据管理（1）
数据结构与算法（1）
数据同步（1）
推送（1）
网络（1）
协议（1）
性能监控（1）
虚拟机（1）
压缩（1）
异常（1）
域名（1）
在线教育（1）
主机（1）
LLM（1）
搜索文章
搜索
搜索
关闭
大数据物流项目：Kudu 入门使用（五）
存储
数据处理
数据结构
hbase
TDSQL MySQL 版
KUDU 支持用户对一个表指定一个范围分区规则和多个 Hash 分区规则，如下图：
Maynor
2022-11-30
1.1K
0
实时即未来，车联网项目之车辆驾驶行为分析【五】
hbase
TDSQL MySQL 版
java
引入 guava 库中的Lists类，创建一个可变的包含给定元素的ArrayList示例
Maynor
2022-10-04
765
0
一图胜千言:大数据入门必备的16张数据流转图(建议收藏)
大数据
hbase
TDSQL MySQL 版
yarn
spark
以上便是本码农总结的15张大数据开发必背的数据流转图,有事没事拿出来看一看,潜移默化自然就记下来了~
Maynor
2022-05-08
4.2K
0
大数据系列思考题
node.js
hbase
TDSQL MySQL 版
hive
php
个人理解: hdfs启动流程 hdfs是Hadoop Distribute File System 的简称,即分布式文件系统,用于存储海量数据. hdfs的启动分为三步:1.启动Namenode;2.启动Datanode;3.启动Secondary Namenode; 详细说说: Secondary NameNode的工作流程:(为了方便Secondary NameNode以SN替代,NameNode)首先SN通知NN切换成edits文件; NN中的edits和fsimage通过http的方式传输到SN,并在SN中合并成新的fsimage.ckpt,之后传输回NN,并将旧的fsimage替换; NN中的edits生成新的edits文件并替换旧的edits
Maynor
2022-05-08
452
0
分布式NoSQL列存储数据库Hbase（六）
TDSQL MySQL 版
hbase
nosql
hive
jdbc
step1：如果表在Hbase中没有，Hive中没有，在Hive中创建表，指定在Hbase中创建关联表
Maynor
2022-02-28
3K
0
❤️大数据开发必备:推荐7款大数据开发神器工作效率提升1000%【推荐收藏】
hbase
大数据
TDSQL MySQL 版
kafka
windows
manor学习大数据开发满打满算也有一年了,其中也发现不少好用的大数据开发提升效率的软件,推荐给刚入门/入行的你:
Maynor
2022-02-25
995
0
用户画像标签系统体系解释
hbase
TDSQL MySQL 版
Elasticsearch Service
存储
spark
1）、标签数据 标签管理平台中，每个标签开发时，首先需要在管理平台上注册（新建标签：4级标签和5级标签） 业务标签和属性标签 业务标签对应标签模型，每个标签模型就是Spark Application，运行程序可以给用户打上标签：TagName 模型表中存储数据：spark application运行时参数设置核心数据： tagName -> tagRule：标签规则
Maynor
2022-02-24
1.5K
0
Spark Day05：Spark Core之Sougou日志分析、外部数据源和共享变量
hbase
TDSQL MySQL 版
spark
编程算法
数据库
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-sRu202yb-1644834575572)(/img/image-20210423150750606.png)]
Maynor
2022-02-17
977
1
学了1年大数据,来测测你大数据技术掌握程度?大数据综合复习之面试题15问（思维导图+问答库)
kafka
flink
腾讯云开发者社区
hbase
TDSQL MySQL 版
时隔一年,终于把主流的大数据组件全部学完了,学成之时,便是出师之日, 那为师便来考考你学的如何:
Maynor
2021-12-30
363
0
Hbase的javaAPI
maven
大数据
hbase
TDSQL MySQL 版
（这里的方法在运行的时候要开启Hbase集群服务） 启动HBase 由于伪分布式下的 HBase 依赖 HDFS ，因此我们需要先启动 HDFS ：
Maynor
2021-12-20
359
0
【秋招面试】货拉拉面试（1面过程）
hive
hbase
TDSQL MySQL 版
大数据
mapreduce
下面是面试题： 由于我准备面试时大部分的项目准备是围绕数据仓库开发准备的， 而我面试的是货拉拉的大数据开发岗， 所以整个面试过程面试官也在反复和我确认到底是面试应用开发还是数仓开发。。。
Maynor
2021-12-07
544
0
【秋招面试】面试准备（一面准备）
编程算法
hive
云数据库 SQL Server
hbase
TDSQL MySQL 版
实际上算法这块我还是个菜狗 没办法机会难得，不知道下次能不能这么走运 只能硬着头皮上了……!
Maynor
2021-12-07
383
0
Hadoop(HDFS+MapReduce+Hive+数仓基础概念)学习笔记(自用)
TDSQL MySQL 版
hbase
数据集成
数据库
数据备份
文件中有两个配置，删除其中任意一个，修改剩下的一个配置将address改为系统新分配的mac地址，将NAME改成eth0,保存退出
Maynor
2021-12-07
898
0
大数据开发岗面试复习30天冲刺 - 日积月累，每日五题【Day12】——Hbase6
hbase
TDSQL MySQL 版
大数据
mapreduce
javascript
•step1：数据写入的时候，只写入内存 •step2：将数据在内存构建有序，当数据量大的时候，将有序的数据写入磁盘，变成一个有序的数据文件 •step3：基于所有有序的小文件进行合并，合并为一个整体有序的大文件
Maynor
2021-12-07
173
0
大数据开发岗面试复习30天冲刺 - 日积月累，每日五题【Day13】——Hbase7
hbase
TDSQL MySQL 版
kafka
mapreduce
大数据
•MapReduce写入Hbase原理：封装了一个TableOutputFormat来实现写入Hbase的数据 •要求 –写入Hbase的数据的V的类型必须为Put类型
Maynor
2021-12-07
286
0
大数据开发岗面试复习30天冲刺 - 日积月累，每日五题【Day11】——Hbase5
html
hbase
TDSQL MySQL 版
大数据
缓存
•创建全局索引，会自动构建一张索引表 •索引表结构 –Rowkey：索引字段+原表的rowkey –列：占位置x •特点：如果查询字段或者查询条件不是索引字段，就不会走索引 •应用：适合于读多写少
Maynor
2021-12-07
178
0
大数据开发岗面试复习30天冲刺 - 日积月累，每日五题【Day10】——Hbase4
hbase
TDSQL MySQL 版
hive
mapreduce
sql
•个数原则：如果列的个数比较多，建议2 ~ 3个，如果列的个数比较少，建议1个 –列族个数多了，导致比较次数变多，降低性能 –列族个数少了，导致列的比较次数变多，降低性能 •长度原则 ：能满足业务需求的情况下，越短越好
Maynor
2021-12-07
217
0
大数据开发岗面试复习30天冲刺 - 日积月累，每日五题【Day08】——Hbase2
hbase
TDSQL MySQL 版
存储
分布式
大数据
•Hive是通过构建元数据，映射HDFS文件构建成表，本质还是HDFS，实现离线大数据仓库 •Hbase是通过构建上层分布式内存，底层HDFS，实现大数据实时存储的NoSQL数据库
Maynor
2021-12-07
333
0
大数据开发岗面试复习30天冲刺 - 日积月累，每日五题【Day07】——Hbase1
hbase
TDSQL MySQL 版
分布式
文件存储
存储
•功能：Hbase是一个分布式的、基于分布式内存和HDFS的按列存储的NoSQL数据库 •应用：Hbase适合于需要实时的对大量数据进行快速、随机读写访问的场景
Maynor
2021-12-07
219
0
分布式实时消息队列Kafka（一）
kafka
消息队列 CMQ 版
hbase
TDSQL MySQL 版
数据库
分布式实时消息队列Kafka（一） 知识点01：课程回顾 Hbase是什么？ 分布式基于内存按列存储NoSQL数据库，用于实时、随机读写大量的数据 Hbase的设计思想是什么？ 冷热数据分离 热数据：大概可能被使用的数据，新产生的数据 写入内存 冷数据：小概率被读取的数据，产生一段时间的数据 写入磁盘 什么是列族，为什么要设计列族？ 列族就是对列进行分组存储 Hbase是一个按列存储的数据库，每张表可以存储上百万列 如果对列做了分组，加快数据读取的速度 Hbase
Maynor
2021-12-07
1K
0
点击加载更多
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪，探寻中国数据库50年的发展历程
立即查看
Python精品学习库
代码在线跑，知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客，速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档
