腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
大数据成神之路
专注大数据领域的一切技术~
专栏成员
举报
638
文章
1406368
阅读量
322
订阅数
订阅专栏
申请加入专栏
全部文章（638）
大数据（273）
sql（163）
数据库（129）
kafka（105）
spark（100）
flink（91）
编程算法（83）
apache（72）
存储（60）
hive（59）
java（52）
node.js（52）
api（52）
数据（46）
hadoop（41）
文件存储（39）
缓存（39）
hbase（36）
云数据库 SQL Server（35）
TDSQL MySQL 版（33）
数据处理（31）
分布式（29）
数据结构（28）
scala（25）
云数据库 Redis（24）
mapreduce（24）
数据分析（21）
javascript（19）
linux（19）
yarn（18）
https（18）
python（17）
网络安全（17）
unix（16）
jvm（16）
windows（16）
zookeeper（14）
开发（14）
打包（13）
消息队列 CMQ 版（13）
批量计算（12）
http（12）
数据湖（12）
bash（11）
面试（11）
数据迁移（10）
云计算（10）
xml（9）
企业（9）
数据安全（9）
Elasticsearch Service（9）
框架（9）
bash 指令（8）
腾讯云测试服务（8）
面向对象编程（8）
架构（8）
优化（8）
jar（7）
运维（7）
processing（7）
机器学习（6）
json（6）
日志数据（6）
开源（6）
hashmap（6）
tcp/ip（6）
rabbitmq（6）
数据可视化（6）
微服务（6）
html（5）
神经网络（5）
深度学习（5）
压力测试（5）
jdbc（5）
rpc（5）
nosql（4）
spring（4）
网站（4）
express（4）
sql server（4）
nest（4）
任务调度（4）
es（4）
数据集成（4）
工具（4）
配置（4）
设计（4）
数据管理（4）
系统（4）
性能（4）
oracle（3）
github（3）
maven（3）
人工智能（3）
vr 视频解决方案（3）
electron（3）
容器（3）
shell（3）
socket编程（3）
kerberos（3）
性能测试（3）
实时数仓（3）
测试（3）
工作（3）
行业（3）
集群（3）
模型（3）
内存（3）
实践（3）
索引（3）
原理（3）
对象存储（2）
官方文档（2）
数据挖掘（2）
css（2）
ajax（2）
android（2）
ide（2）
lucene/solr（2）
nginx（2）
容器镜像服务（2）
海外加速（2）
mongodb（2）
rollup.js（2）
kubernetes（2）
uml（2）
架构设计（2）
5g（2）
迁移（2）
clickhouse（2）
报表（2）
产品（2）
磁盘（2）
函数（2）
后端（2）
基础（2）
监控（2）
解决方案（2）
排序（2）
事件（2）
异常（2）
最佳实践（2）
负载均衡（1）
自动驾驶（1）
ios（1）
iphone（1）
php（1）
go（1）
lua（1）
erlang（1）
regex（1）
react（1）
typescript（1）
postgresql（1）
flask（1）
sqlalchemy（1）
git（1）
搜索引擎（1）
负载均衡缓存（1）
专用宿主机（1）
云数据迁移（1）
日志服务（1）
腾讯云可观测平台（1）
命令行工具（1）
云数据库 MongoDB（1）
es 2（1）
图像处理（1）
数据备份（1）
电商（1）
出行（1）
serverless（1）
游戏（1）
无人驾驶（1）
jdk（1）
推荐系统（1）
markdown（1）
zabbix（1）
微信（1）
机器人（1）
物联网（1）
系统架构（1）
腾讯云开发者社区（1）
安全治理（1）
raft（1）
实时监控（1）
数据库管理（1）
流计算 Oceanus（1）
大数据存储（1）
汽车（1）
腾讯云（1）
bi（1）
bigdata（1）
block（1）
class（1）
code（1）
combine（1）
configuration（1）
csv（1）
data（1）
dp（1）
export（1）
fifo（1）
hash（1）
import（1）
ip（1）
key（1）
memory（1）
mysql（1）
netty（1）
populate（1）
properties（1）
pulsar（1）
queue（1）
rank（1）
root（1）
scheduler（1）
select（1）
state（1）
sum（1）
table（1）
task（1）
time（1）
vi（1）
window（1）
报表工具（1）
登录（1）
队列（1）
服务（1）
高性能（1）
管理（1）
规范化（1）
架构师（1）
接口（1）
连接（1）
日志（1）
入门（1）
实时计算（1）
数据采集（1）
数据同步（1）
算法（1）
微信公众号（1）
线程（1）
效率（1）
协议（1）
研发（1）
语法（1）
中间件（1）
字符串（1）
搜索文章
搜索
搜索
关闭
【Spark重点难点】SparkSQL YYDS(上)！
sql
spark
https
网络安全
python
Spark 社区在 1.3 版本发布了 DataFrame。那么，相比 RDD，DataFrame 到底有何不同呢？
王知无-import_bigdata
2021-12-15
948
0
我说Java基础重要，你不信？来试试这几个问题
文件存储
python
sql
flink
大数据
代码生成技术广泛应用于现代的数据库系统中。代码生成是将用户输入的表达式、查询、存储过程等现场编译成二进制代码再执行，相比解释执行的方式，运行效率要高很多。尤其是对于计算密集型查询、或频繁重复使用的计算过程，运用代码生成技术能达到数十倍的性能提升。
王知无-import_bigdata
2021-09-22
740
0
在所有Spark模块中，我愿称SparkSQL为最强！
spark
python
hive
api
批量计算
我们之前已经学习过了《我们在学习Spark的时候，到底在学习什么？》，这其中有一个关于SQL的重要模块：SparkSQL。
王知无-import_bigdata
2021-07-30
1.7K
0
独孤九剑-Spark面试80连击(下)
spark
python
sql
数据库
大数据
场景描述：这是一个Spark的面试题合集。是我自己作为面试者和作为面试官都会被问到或者问到别人的问题，这个总结里面有大量参考了网上和书上各位老师、大佬的一些原文答案，只是希望可以给出更好的回答，一般上我都会把原文链接贴上，如有侵权请联系删除！
王知无-import_bigdata
2021-07-09
872
0
独孤九剑-Spark面试80连击(下)
spark
python
sql
数据库
大数据
场景描述：这是一个Spark的面试题合集。是我自己作为面试者和作为面试官都会被问到或者问到别人的问题，这个总结里面有大量参考了网上和书上各位老师、大佬的一些原文答案，只是希望可以给出更好的回答，一般上我都会把原文链接贴上，如有侵权请联系删除！
王知无-import_bigdata
2021-07-09
1.1K
0
FileSystem/JDBC/Kafka - Flink三大Connector实现原理及案例
kafka
python
数据处理
jdbc
node.js
本文分别讲述了Flink三大Connector：FileSystem Connector、JDBC Connector和Kafka Connector的源码实现和案例代码。
王知无-import_bigdata
2021-03-26
2.2K
0
你不可不知的任务调度神器-AirFlow
数据库
sql
python
面向对象编程
Airflow 是一个编排、调度和监控workflow的平台，由Airbnb开源，现在在Apache Software Foundation 孵化。AirFlow 将workflow编排为tasks组成的DAGs，调度器在一组workers上按照指定的依赖关系执行tasks。同时，Airflow 提供了丰富的命令行工具和简单易用的用户界面以便用户查看和操作，并且Airflow提供了监控和报警系统。
王知无-import_bigdata
2021-01-06
3.6K
0
斗转星移 | 三万字总结Kafka各个版本差异
api
kafka
tcp/ip
python
Kafka 2.0.0引入了线程协议的变化。通过遵循下面建议的滚动升级计划，您可以保证在升级期间不会出现停机。但是，请在升级之前查看2.0.0中的重大更改。
王知无-import_bigdata
2020-09-08
2.2K
0
Redis中的管道Pipeline操作
bash
云数据库 Redis
命令行工具
python
Redis默认每次执行请求都会创建和断开一次连接池的操作，如果想执行多条命令的时候会在这件事情上消耗过多的时间，因此我们可以使用Redis的管道来一次性发送多条命令并返回多个结果，节约发送命令和创建连接的时间提升效率。
王知无-import_bigdata
2020-07-28
2.8K
0
创业公司数据仓库的建设
python
数据处理
云数据库 SQL Server
本文将重点探讨数据处理层中数据仓库的建设。早期的数据服务中存在不少问题，虽然在做运营Dashboard系统时，对后台数据服务进行了梳理，构建了数据处理的底层公共库等，但是仍然存在一些问题：
王知无-import_bigdata
2020-06-05
833
0
Spark性能优化总结
spark
python
缓存
linux
mapreduce
Spark的瓶颈一般来自于集群(standalone, yarn, mesos, k8s)的资源紧张，CPU，网络带宽，内存。通过都会将数据序列化，降低其内存memory和网络带宽shuffle的消耗。
王知无-import_bigdata
2020-04-02
1.3K
0
独孤九剑-Spark面试80连击(下)
spark
python
sql
数据库
大数据
场景描述：这是一个Spark的面试题合集。是我自己作为面试者和作为面试官都会被问到或者问到别人的问题，这个总结里面有大量参考了网上和书上各位老师、大佬的一些原文答案，只是希望可以给出更好的回答，一般上我都会把原文链接贴上，如有侵权请联系删除！
王知无-import_bigdata
2019-09-03
1.4K
1
Spark调优 | Spark SQL参数调优
spark
python
数据库
sql
hive
Spark SQL里面有很多的参数，而且这些参数在Spark官网中没有明确的解释，可能是太多了吧，可以通过在spark-sql中使用set -v 命令显示当前spark-sql版本支持的参数。
王知无-import_bigdata
2019-08-16
7.3K
0
Spark将Dataframe数据写入Hive分区表的方案
hive
python
spark
数据库
sql
DataFrame 将数据写入hive中时，默认的是hive默认数据库,insert into没有指定数据库的参数，数据写入hive表或者hive表分区中：
王知无-import_bigdata
2019-07-23
16.1K
0
Spark SQL重点知识总结
云数据库 SQL Server
sql
数据库
spark
python
Spark SQL是spark套件中一个模板，它将数据的计算任务通过SQL的形式转换成了RDD的计算，类似于Hive通过SQL的形式将数据的计算任务转换成了MapReduce。
王知无-import_bigdata
2019-06-20
1.8K
0
Structured Streaming 实现思路与实现概述
spark
python
数据库
sql
api
二、从 Structured Data 到 Structured Streaming
王知无-import_bigdata
2019-06-03
1.2K
0
Scala 基础语法(一)
java
scala
python
打包
如果你之前是一名 Java 程序员，并了解 Java 语言的基础知识，那么你能很快学会 Scala 的基础语法。
王知无-import_bigdata
2019-03-15
738
0
没有更多了
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪，探寻中国数据库50年的发展历程
立即查看
Python精品学习库
代码在线跑，知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客，速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档
