腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
Spark学习技巧
本公众号主要分享Spark使用及源码，spark 机器学习，图计算，同时会涉及到hadoop家族。
专栏作者
举报
810
文章
1229221
阅读量
247
订阅数
订阅专栏
申请加入专栏
全部文章（810）
spark（162）
大数据（156）
sql（131）
数据库（123）
编程算法（122）
java（101）
kafka（57）
数据分析（54）
存储（52）
其他（51）
分布式（45）
hive（45）
flink（45）
缓存（44）
云数据库 SQL Server（43）
hbase（41）
apache（39）
node.js（36）
api（35）
hadoop（30）
数据结构（29）
数据处理（28）
http（24）
ide（23）
linux（21）
zookeeper（21）
scala（20）
云数据库 Redis（20）
机器学习（19）
文件存储（19）
TDSQL MySQL 版（19）
jvm（19）
https（16）
数据（15）
开源（14）
网站（13）
网络安全（13）
windows（13）
mapreduce（12）
jdk（12）
javascript（11）
bash（11）
数据安全（11）
yarn（11）
运维（11）
数据湖（11）
企业（10）
Elasticsearch Service（10）
html（9）
json（9）
unix（9）
神经网络（9）
深度学习（9）
日志数据（9）
hashmap（9）
云计算（9）
打包（8）
git（8）
消息队列 CMQ 版（8）
系统架构（8）
maven（7）
人工智能（7）
安全（7）
php（6）
python（6）
bash 指令（6）
知识图谱（6）
腾讯云测试服务（6）
数据迁移（6）
推荐系统（6）
实时数仓（6）
数据挖掘（5）
xml（5）
jquery（5）
jar（5）
批量计算（5）
容器（5）
面向对象编程（5）
rpc（5）
rabbitmq（5）
设计（5）
数据仓库（5）
自动驾驶（4）
android（4）
搜索引擎（4）
spring（4）
mongodb（4）
电商（4）
tcp/ip（4）
微信（4）
微服务（4）
数据集成（4）
app（4）
join（4）
框架（4）
模型（4）
区块链（3）
go（3）
eclipse（3）
github（3）
全文检索（3）
容器镜像服务（3）
serverless（3）
自动化（3）
压力测试（3）
uml（3）
数据可视化（3）
架构设计（3）
任务调度（3）
bug（3）
key（3）
mysql（3）
offset（3）
partition（3）
ps（3）
产品（3）
管理（3）
函数（3）
架构（3）
流量（3）
排序（3）
日志（3）
异常（3）
官方文档（2）
NLP 服务（2）
c++（2）
c#（2）
ruby（2）
lua（2）
单片机（2）
postgresql（2）
nginx（2）
访问管理（2）
云数据库 MongoDB（2）
消息队列 CKafka 版（2）
大数据解决方案（2）
kubernetes（2）
无人驾驶（2）
ssh（2）
卷积神经网络（2）
erp（2）
jdbc（2）
二叉树（2）
aop（2）
processing（2）
sdk（2）
实时监控（2）
学习方法（2）
数据库管理（2）
数据脱敏（2）
bi（2）
date（2）
hdfs（2）
null（2）
shuffle（2）
测试（2）
程序（2）
程序员（2）
服务（2）
链表（2）
内存（2）
配置（2）
入门（2）
实践（2）
系统（2）
原理（2）
费用中心（1）
负载均衡（1）
比特币（1）
tensorflow（1）
ios（1）
objective-c（1）
c 语言（1）
actionscript（1）
css（1）
ajax（1）
sqlite（1）
nosql（1）
memcached（1）
access（1）
mvc（1）
svn（1）
struts（1）
tomcat（1）
中文分词（1）
lucene/solr（1）
analyzer（1）
负载均衡缓存（1）
tornado（1）
GPU 云服务器（1）
专用宿主机（1）
云数据迁移（1）
日志服务（1）
云直播（1）
短视频（1）
腾讯云可观测平台（1）
SSL 证书（1）
数据加密服务（1）
腾讯git代码托管（工蜂）（1）
数据备份（1）
express（1）
rollup.js（1）
游戏（1）
互联网金融（1）
爬虫（1）
正则表达式（1）
mybatis（1）
sql server（1）
opencv（1）
自动化测试（1）
kotlin（1）
scrapy（1）
dubbo（1）
ddos（1）
udp（1）
kernel（1）
socket编程（1）
无监督学习（1）
nat（1）
nest（1）
视频分析（1）
flutter（1）
风控平台（1）
安全运营平台（1）
特征工程（1）
unicode（1）
迁移（1）
groovy（1）
功能测试（1）
性能测试（1）
es（1）
实时数据集成（1）
事件总线（1）
腾讯云数据仓库 TCHouse（1）
数据湖分析（1）
智能推荐平台（1）
教育（1）
数据库审计（1）
class（1）
cpu（1）
data（1）
decimal（1）
dump（1）
elk（1）
event（1）
exists（1）
final（1）
flume（1）
foreach（1）
for循环（1）
frequency（1）
function（1）
gc（1）
google（1）
gson（1）
initialization（1）
ip（1）
it（1）
jackson（1）
java8（1）
lambda（1）
list（1）
map（1）
message（1）
overflow（1）
public（1）
push（1）
quartz（1）
rank（1）
redis（1）
request（1）
return（1）
select（1）
server（1）
sqoop（1）
stack（1）
static（1）
streaming（1）
string（1）
stringbuilder（1）
subquery（1）
thrift（1）
web（1）
报表（1）
闭包（1）
变量（1）
编译（1）
边缘计算（1）
创业（1）
磁盘（1）
单例模式（1）
登录（1）
多线程（1）
工具（1）
工作（1）
行业（1）
混合云（1）
集合（1）
技巧（1）
集群（1）
监控（1）
解决方案（1）
开发（1）
面试（1）
生命周期（1）
事件（1）
实时计算（1）
事务（1）
数据管理（1）
同步（1）
统计（1）
网关（1）
线程池（1）
效率（1）
协议（1）
性能（1）
性能监控（1）
性能优化（1）
异步编程（1）
中间件（1）
字符串（1）
搜索文章
搜索
搜索
关闭
《稀缺：我们是如何陷入贫穷与忙碌的》读后感
其他
容易被忽略的稀缺状态？ 当你拆东墙补西墙，不停地还贷款，最后发现自己还是在原地兜圈子，捉肘见襟的状况根本没有改变? 如果出现这种情况，说明你已经陷入了“稀缺陷阱”。这时候，你就像在玩儿杂耍，从一个紧
Spark学习技巧
2021-07-27
504
0
美团面试题：JVM堆内存溢出后，其他线程是否可继续工作？
linux
jvm
其他
java
最近网上出现一个美团面试题：“一个线程OOM后，其他线程还能运行吗？”。我看网上出现了很多不靠谱的答案。这道题其实很有难度，涉及的知识点有jvm内存分配、作用域、gc等，不是简单的是与否的问题。
Spark学习技巧
2019-06-28
533
0
程序员们～笑抽了别怪我
其他
前方高能，每一个程序员看完，你不笑死个人，你来找我，我自己看了好几遍，反正笑的停不下来，太特么有才了。
Spark学习技巧
2018-12-28
515
0
Ant Design 圣诞彩蛋变炸弹：蚂蚁金服开源项目遭开发者炮轰
其他
Ant Design是一套由蚂蚁金服开发的企业级开发UI组件库，并已经开源。今天，由于在该框架中设置了一个未事先告知的圣诞彩蛋，且无法手动禁用，开发者社区对该项目发起了连番指责。
Spark学习技巧
2018-12-28
2.4K
0
为什么程序员对旧代码深恶痛绝？
其他
最近有人问我，为什么软件开发者非常痛恨维护别人的代码？我思考了很久怎样回答这个问题，最后决定做一个简单的比喻。
Spark学习技巧
2018-12-19
352
0
一组漫画完美总结互联网人生
其他
1991年，万维网（World Wide Web）向公众开放，标志着互联网的诞生。如今人类的生活被互联网极大地改变，以至于没有网络的生活几乎是难以想象的...
Spark学习技巧
2018-12-18
337
0
Apache Kafka：优化部署的 10 种最佳实践
apache
zookeeper
安全
其他
http
Apache Kafka 肯定会像它的同名小说家一样不负众望，因为它能激奋新来者、挑战深度，若能更全面的理解它还会产生丰厚的回报。抛开文学，书归正传。遵循 kafka 最新的最佳实践，一定可以让这个强大的数据流平台的管理变得非常、非常容易，而且还会相当有效。
Spark学习技巧
2018-12-18
1.2K
0
Spark SQL的几个里程碑！
其他
官方版本是spark 1.0.0引入的Spark SQL模块。当时这个模块的核心实际上就是一种新类型的RDD，叫做SchemaRDD。SchemaRDD就是类型为ROW的RDD，但同时又包含了一个描述每一列数据类型的schema信息。SchemRDD也可类似于传统数据库的一张表。SchemaRDD可以从已有的RDD创建，可以是Parquet文件，json数据集或则HiveQL生成。该版本引入是在2014年五月30日。
Spark学习技巧
2018-12-13
779
0
知乎数据埋点方案
其他
从业务过程中采集埋点，是数据驱动型公司的必要条件。知乎的产品功能评审环节，不仅有 PRD (Product requirement document），还加入了对应的 DRD ( Data requirement document）。对于埋点而言，DRD 需要明确业务目标与埋点缺口之间的关系以及需求的优先级。埋点的需求大多来自于 DRD，整个过程会涉及多个角色，主要包括产品经理、业务数据负责人、开发工程师、测试工程师。
Spark学习技巧
2018-12-11
6.3K
0
如何成为一个优秀的工程师？
自动化
编程算法
其他
企业
数据库
这是一篇旧文，是陆奇还在百度时候的演讲：如何成为一个优秀的工程师。道出了一个工程师应有的追求，如此，未来才能属于工程师。
Spark学习技巧
2018-12-07
649
0
案例简介flink CEP
其他
随着无处不在的传感器网络和智能设备不断收集越来越多的数据，我们面临着以近实时的方式分析不断增长的数据流的挑战。 能够快速响应不断变化的趋势或提供最新的商业智能可能是公司成功或失败的决定性因素。 实时处理中的关键问题是检测数据流中的事件模式。
Spark学习技巧
2018-12-06
3.6K
0
IT职场新人碰到的几个常见误区
html
其他
数据库
sql
java
我工作10+年了，大概五年前从技术转管理后，多少还是发现一些职场新人职业发展的问题。
Spark学习技巧
2018-12-04
792
0
偏好：个人习惯的局限与反思
其他
经过长时间的工作实践，我们会逐步养成一些做事的个人喜好或习惯，并且会自我感觉这种个人习惯会是很好的方法。
Spark学习技巧
2018-12-04
584
0
RDD的join和Dstream的join有什么区别？
其他
Dstream这个类实际上支持的只是Spark Streaming的基础操作算子，比如： map, filter 和window.PairDStreamFunctions 这个支持key-valued类型的流数据
Spark学习技巧
2018-11-22
1.3K
0
Redis 的各项功能解决了哪些问题？
其他
综上所述，Redis提供了丰富的功能，初次见到可能会感觉眼花缭乱，这些功能都是干嘛用的？都解决了什么问题？什么情况下才会用到相应的功能？那么下面从零开始，一步一步的演进来粗略的解释下。
Spark学习技巧
2018-11-08
362
0
如何成为一名优秀的架构师？
其他
想一下软件架构的评审过程：一位架构师参与进来，俯视一切然后指指点点，高谈阔论。他发表的评论要么过于粗浅，要么严重脱离实际。
Spark学习技巧
2018-11-08
1.2K
0
Structured Streaming实现超低延迟
其他
浪院长，最近忙死了，写文章的时间都没了。但是，都说时间就像海绵里的水，挤挤就有了。所以，今晚十点半开始整理这篇Structured streaming 相关的文章。
Spark学习技巧
2018-11-05
1.3K
0
Flink高效的内存管理
其他
如今，大数据领域的开源框架（Hadoop，Spark，Storm）都使用的 JVM，当然也包括 Flink。基于 JVM 的数据分析引擎都需要面对将大量数据存到内存中，这就不得不面对 JVM 存在的几个问题：
Spark学习技巧
2018-10-25
1.4K
0
Hive学习之Lateral View
其他
Lateral view与UDTF函数如explode()一起使用，UDTF对每个输入行产生0或者多个输出行。Lateral view首先在基表的每个输入行应用UDTF，然后连接结果输出行与输入行组成拥有指定表别名的虚拟表。Lateralview的语法如下：
Spark学习技巧
2018-10-25
2.9K
0
Rowkey（行键）设计
其他
HBase 中的行按行键按顺序排序。这种设计优化了扫描（scan），允许您将相关的行或彼此靠近的行一起读取。但是，设计不佳的行键是 hotspotting 的常见来源。当大量客户端通信针对群集中的一个节点或仅少数几个节点时，会发生 Hotspotting。此通信量可能表示读取、写入或其他操作。通信量压倒负责托管该区域的单个机器，从而导致性能下降并可能导致区域不可用性。这也会对由同一台区域服务器托管的其他区域产生不利影响，因为该主机无法为请求的负载提供服务。设计数据访问模式以使群集得到充分和均匀利用非常重要。
Spark学习技巧
2018-10-25
675
0
点击加载更多
社区活动
RAG七天入门训练营
鹅厂大牛手把手带你上手实战
立即学习
Python精品学习库
代码在线跑，知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客，速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档