腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
最新最全的大数据技术体系
专栏成员
举报
751
文章
645625
阅读量
35
订阅数
订阅专栏
申请加入专栏
全部文章（751）
大数据（216）
sql（121）
数据库（111）
编程算法（110）
数据（87）
java（70）
spark（68）
hive（66）
node.js（65）
kafka（51）
hadoop（49）
python（47）
存储（45）
hbase（39）
云数据库 SQL Server（32）
TDSQL MySQL 版（30）
模型（30）
服务（28）
api（27）
物联网（27）
flink（27）
mapreduce（25）
网络安全（25）
数据分析（25）
https（25）
linux（24）
网站（24）
文件存储（22）
yarn（22）
apache（21）
分布式（21）
数据结构（21）
配置（21）
ide（19）
javascript（18）
scala（17）
xml（17）
spring（17）
基础（17）
函数（16）
windows（15）
html（14）
腾讯云测试服务（14）
容器（14）
缓存（14）
设计（14）
jar（13）
maven（13）
http（13）
tcp/ip（13）
数据处理（13）
工程师（13）
机器学习（12）
vue.js（12）
进程（11）
语法（11）
bash（10）
打包（10）
容器镜像服务（10）
数据湖（10）
部署（10）
可视化（10）
统计（10）
json（9）
nosql（9）
微服务（9）
pyspark（9）
oracle（8）
shell（8）
面向对象编程（8）
jdbc（8）
腾讯云开发者社区（8）
gpt（8）
编码（8）
工具（8）
集群（8）
tomcat（7）
nginx（7）
消息队列 CMQ 版（7）
yum（7）
zookeeper（7）
openai（7）
笔记（7）
博客（7）
测试（7）
公众号（7）
系统（7）
php（6）
bash 指令（6）
推荐系统（6）
微信（6）
云计算（6）
bi（6）
flume（6）
table（6）
教程（6）
解决方案（6）
内存（6）
算法（6）
索引（6）
数据接口（6）
对象存储（5）
c++（5）
jsp（5）
unix（5）
人工智能（5）
电商（5）
企业（5）
jdk（5）
mybatis（5）
数据可视化（5）
虚拟化（5）
es（5）
error（5）
mysql（5）
全栈（5）
视频（5）
腾讯（5）
原理（5）
字符串（5）
ajax（4）
云数据库 Redis（4）
mvc（4）
git（4）
github（4）
全文检索（4）
深度学习（4）
专用宿主机（4）
访问管理（4）
日志数据（4）
数据安全（4）
hashmap（4）
二叉树（4）
aop（4）
插件（4）
程序（4）
服务器（4）
镜像（4）
连接（4）
入门（4）
事务（4）
搜索（4）
线程（4）
优化（4）
AI绘画（4）
其他（3）
自动驾驶（3）
servlet（3）
react（3）
jquery（3）
access（3）
搜索引擎（3）
lucene/solr（3）
神经网络（3）
日志服务（3）
游戏（3）
运维（3）
jvm（3）
正则表达式（3）
rpc（3）
sdn（3）
airflow（3）
exception（3）
gateway（3）
join（3）
mq（3）
nested（3）
prompt（3）
redis（3）
set（3）
shuffle（3）
编程（3）
产品（3）
队列（3）
对象（3）
工作（3）
集合（3）
脚本（3）
接口（3）
开发（3）
开发者（3）
论文（3）
排序（3）
日志（3）
软件（3）
同步（3）
需求分析（3）
负载均衡（2）
NLP 服务（2）
c#（2）
regex（2）
css（2）
负载均衡缓存（2）
批量计算（2）
mongodb（2）
serverless（2）
parcel（2）
开源（2）
自动化（2）
ssh（2）
监督学习（2）
rabbitmq（2）
kernel（2）
spring cloud（2）
安全（2）
机器人（2）
系统架构（2）
mvcc（2）
ascii（2）
sdk（2）
迁移（2）
实时etl（2）
数据库管理（2）
app（2）
break（2）
bug（2）
char（2）
com（2）
config（2）
connect（2）
connection（2）
csv（2）
for循环（2）
hdfs（2）
host（2）
list（2）
map（2）
null（2）
pandas（2）
pip（2）
process（2）
pycharm（2）
rdd（2）
select（2）
server（2）
service（2）
time（2）
truncate（2）
version（2）
video（2）
view（2）
word（2）
百度（2）
变量（2）
编译（2）
代理（2）
多线程（2）
工作流（2）
管理（2）
架构（2）
框架（2）
实践（2）
数据存储（2）
数据类型（2）
数学（2）
数组（2）
图表（2）
网关（2）
微信公众号（2）
效率（2）
性能（2）
异步（2）
源码（2）
费用中心（1）
云服务器（1）
内容分发网络 CDN（1）
ruby（1）
bootstrap（1）
ecmascript（1）
android（1）
eclipse（1）
ubuntu（1）
centos（1）
容器服务（1）
云直播（1）
命令行工具（1）
云推荐引擎（1）
DevOps 解决方案（1）
数据备份（1）
o2o（1）
渲染（1）
vr 视频解决方案（1）
express（1）
kubernetes（1）
压力测试（1）
数据迁移（1）
无人驾驶（1）
wordpress（1）
强化学习（1）
spring boot（1）
线性回归（1）
npm（1）
seo（1）
dubbo（1）
jenkins（1）
gradle（1）
scikit-learn（1）
socket编程（1）
lamp（1）
ntp（1）
小程序（1）
网站建设（1）
nat（1）
processing（1）
信息流（1）
任务调度（1）
防火墙（1）
聚类算法（1）
实时监控（1）
Elasticsearch Service（1）
数据集成（1）
大数据存储（1）
汽车（1）
教育（1）
腾讯云（1）
alias（1）
alpha（1）
amqp（1）
apollo（1）
async（1）
backend（1）
between（1）
chat（1）
chatgpt（1）
classnotfoundexception（1）
clickhouse（1）
cloud（1）
cloudera（1）
code（1）
conda（1）
core（1）
count（1）
cpu（1）
data（1）
date（1）
default（1）
dll（1）
docx（1）
drawing（1）
ear（1）
echarts（1）
edge（1）
equals（1）
excel（1）
exec（1）
execution（1）
export（1）
field（1）
fifo（1）
function（1）
geo（1）
having（1）
hibernate（1）
ibatis（1）
import（1）
insert（1）
int（1）
io（1）
it（1）
jetbrains（1）
jetty（1）
key（1）
live（1）
location（1）
matplotlib（1）
meta（1）
model（1）
monitor（1）
packet（1）
partition（1）
path（1）
port（1）
prometheus（1）
ps（1）
queue（1）
regexp（1）
registry（1）
reset（1）
root（1）
rows（1）
runtimeexception（1）
socket（1）
sqoop（1）
ssl（1）
substr（1）
sys（1）
tampermonkey（1）
target（1）
this（1）
thread（1）
timeout（1）
token（1）
txt（1）
types（1）
unique（1）
vim（1）
window（1）
worker（1）
zero（1）
报表（1）
备份（1）
编辑器（1）
遍历（1）
并发（1）
操作系统（1）
产品经理（1）
程序设计（1）
程序员（1）
磁盘（1）
登录（1）
递归（1）
地图（1）
多进程（1）
二进制（1）
二维码（1）
翻译（1）
分页（1）
高可用（1）
工具类（1）
行业（1）
华为（1）
技巧（1）
计算机（1）
加密（1）
监控（1）
客户端（1）
科技（1）
流量（1）
内核（1）
配色（1）
权限（1）
生命周期（1）
事件（1）
实时计算（1）
手机（1）
数据仓库（1）
数据管理（1）
数据结构与算法（1）
数据同步（1）
推送（1）
网络（1）
协议（1）
性能监控（1）
虚拟机（1）
压缩（1）
异常（1）
域名（1）
在线教育（1）
主机（1）
LLM（1）
搜索文章
搜索
搜索
关闭
每天一道大厂SQL题【Day08】
api
tcp/ip
大数据
hive
sql
大家好，我是Maynor。相信大家和我一样，都有一个大厂梦，作为一名资深大数据选手，深知SQL重要性，接下来我准备用100天时间，基于大数据岗面试中的经典SQL题，以每日1题的形式，带你过一遍热门SQL题并给出恰如其分的解答。
Maynor
2023-02-17
258
0
大数据成长之路------hadoop集群的部署(2)Hadoop集群安装部署
hadoop
http
tcp/ip
7、启动集群 a)格式化集群 在第一个节点执行 hadoop namenode -format
Maynor
2022-11-30
435
0
大数据成长之路------hadoop集群的部署 配置系统网络（静态） 新增集群(三台)
tcp/ip
网络安全
将eth1 改为eth0（当前网卡编号） address 必须与前面的唯一标识相同，若不相同，需要将address改为和MAC相同
Maynor
2022-11-30
305
0
工作总结之linux防火墙配置命令适用centos7、centos8
网络安全
tcp/ip
ide
xml
在CentOS 7中，开启指定区域（zone）中的指定端口8080，或者端口3306、或者指定范围内的端口8080-8088。
Maynor
2022-06-08
3.5K
0
[新星计划]大数据故事集__从超市收银来看网站系统的发展
负载均衡
负载均衡缓存
tcp/ip
一家小超市，一个收银员，同时还兼着干点其他的事情，例如，打扫卫生、摆货。来买东西的人多起来了，排队很长，顾客受不了，于是增加了一个收银台，雇了一个收银员。忙的时候收银员根本没时间去打扫卫生，超市内有点脏，于是雇了一个专门打扫卫生的。随着顾客不断增加，超市也经过好几次装修，由以前的一层变成了两层，这个时候所做的事情就是不断增加收银台、收银员和打扫卫生的人。在超市运转的过程中，老板发现一个现象，有些收银台排很长的队，有些收银台排的人不多，了解后知道是因为收银台太多了，顾客根本看不到现在各个收银台的状况。对于这个现象，一 种简单的方法就是继续加收银台。但一方面，超市没地方可加收银台了，另一方面，作为老板，当然不需要雇太多的人，于是开始研究怎样让顾客了解到收银台的状况，简单地加了一个摄像头和一个大屏幕，在大屏幕上显示目前收银台的状况，这样基本解决了这个问题。排队长度差不多后，又出现了一个现象，就是有些收银台速 度明显比其他的慢，原因是排在这些收银台的顾客买的东西特别 多，于是又想了一招，就是设立专门的10件以下的通道，这样买 东西比较少的顾客就不用排太长的队了，这一招施展后，顾客的满意度明显提升，销售额也好了不少，后来就继续用这招应对团购状况、VIP 状况。在解决了上面的一些烦心事后，老板关注到了一个存在已久的现象，就是白天收银台很闲，晚上则很忙，于是从节省成本上考虑，决定实行部分员工只在晚上上班的机制，白天则关闭一些收银台，顾客仍然可以通过大屏幕看到哪些收银台是关闭的，避免走到没人的收银台去，实行这招后，成本大大降 低了。 这个生活中的例子及其解决的方法，其实和互联网网站发展过程中的一些技术是非常类似的，只是在技术层面用其他名词来 表达了而已，例如，有集群、分工、负载均衡、根据QoS分配资 源等。
Maynor
2021-12-07
1.1K
0
大数据开发岗面试复习30天冲刺 - 日积月累，每日五题【Day25】——Spark12
文件存储
spark
mapreduce
tcp/ip
1）原理： 计算能力调度器支持多个队列，每个队列可配置一定的资源量，每个队列采用 FIFO 调度策略，为了防止同一个用户的作业独占队列中的资源，该调度器会对 同一用户提交的作业所占资源量进行限定。调度时，首先按以下策略选择一个合适队列：计算每个队列中正在运行的任务数与其应该分得的计算资源之间的 比值(即比较空闲的队列)，选择一个该比值最小的队列；然后按以下策略选择该队列中一个作业：按照作业优先级和提交时间顺序选择， 同时考虑用户资源量限制和内存限制 2）优点： （1）计算能力保证。支持多个队列，某个作业可被提交到某一个队列中。每个队列会配置一定比例的计算资源，且所有提交到队列中的作业 共享该队列中的资源； （2）灵活性。空闲资源会被分配给那些未达到资源使用上限的队列，当某个未达到资源的队列需要资源时，一旦出现空闲资源资源，便会分配给他们； （3）支持优先级。队列支持作业优先级调度（默认是FIFO）； （4）多重租赁。综合考虑多种约束防止单个作业、用户或者队列独占队列或者集群中的资源； （5）基于资源的调度。支持资源密集型作业，允许作业使用的资源量高于默认值，进而可容纳不同资源需求的作业。不过，当前仅支持内存资源的调度。
Maynor
2021-12-07
218
0
手把手教你大数据离线综合实战 ETL+Hive+Mysql+Spark
hive
spark
tcp/ip
云数据库 SQL Server
python
两个主要方面的业务： ⚫ 第一个、数据【ETL 处理】 ◼依据IP地址，调用第三方库解析为省份province和城市city； ◼将ETL后数据保存至PARQUET文件（分区）或Hive 分区表中； ⚫ 第二个、数据【业务报表】 ◼读取Hive Table中广告数据，按照业务报表需求统计分析，使用DSL编程或SQL编程； ◼将业务报表数据最终存储MySQL Table表中，便于前端展示； 上述两个业务功能的实现，使用SparkSQL进行完成，最终使用Oozie和Hue进行可视化操作调用程序ETL和Report自动执行。
Maynor
2021-12-07
1.3K
1
SpringCloud微服务之Nacos集群搭建
对象存储
数据库
sql
tcp/ip
nginx
其中包含3个nacos节点，然后一个负载均衡器代理3个Nacos。这里负载均衡器可以使用nginx。
Maynor
2021-12-06
481
0
SpringCloud微服务之Nacos集群搭建
对象存储
数据库
sql
tcp/ip
nginx
其中包含3个nacos节点，然后一个负载均衡器代理3个Nacos。这里负载均衡器可以使用nginx。
Maynor
2021-11-16
738
0
大数据错题集----集群的机架感知配置
python
tcp/ip
目标：掌握集群的机架感知配置 机架感知需要人为进行配置，编写Python脚本“RackAware.py”。内容为服务器IP与交换机的对应关系。（开源hadoop,使用RackAware.sh）
Maynor
2021-04-09
281
0
大数据成长之路------hadoop集群的部署(2)
hadoop
http
tcp/ip
7、启动集群 a)格式化集群 在第一个节点执行 hadoop namenode -format
Maynor
2021-04-09
308
0
大数据成长之路------hadoop集群的部署
tcp/ip
网络安全
将eth1 改为eth0（当前网卡编号） address 必须与前面的唯一标识相同，若不相同，需要将address改为和MAC相同
Maynor
2021-04-09
289
0
Linux基础Day01
linux
centos
tcp/ip
详情请参考 资料（环境） 中《01_开启电脑虚拟化》，《02_安装虚拟机软件》word文档!
Maynor
2021-04-09
735
0
没有更多了
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪，探寻中国数据库50年的发展历程
立即查看
Python精品学习库
代码在线跑，知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客，速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档
