腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
SAMshare
专栏作者
举报
271
文章
290688
阅读量
38
订阅数
订阅专栏
申请加入专栏
全部文章（271）
编程算法（114）
机器学习（83）
神经网络（68）
深度学习（67）
人工智能（52）
python（45）
https（39）
网络安全（33）
数据分析（18）
sql（15）
linux（15）
决策树（15）
大数据（14）
github（13）
spark（11）
数据库（8）
bash（7）
apache（7）
腾讯云测试服务（7）
hadoop（7）
数据结构（7）
git（6）
api（6）
mapreduce（6）
文件存储（6）
开源（6）
正则表达式（6）
数据处理（6）
特征工程（6）
java（5）
numpy（5）
windows（5）
数据挖掘（4）
css（4）
http（4）
监督学习（4）
NLP 服务（3）
javascript（3）
node.js（3）
html（3）
unix（3）
批量计算（3）
容器（3）
分布式（3）
推荐系统（3）
scikit-learn（3）
c 语言（2）
c++（2）
scala（2）
matlab（2）
bash 指令（2）
spring（2）
访问管理（2）
网站（2）
日志数据（2）
金融风控（2）
自动化（2）
卷积神经网络（2）
线性回归（2）
keras（2）
自动化测试（2）
pytorch（2）
markdown（2）
无监督学习（2）
数据可视化（2）
聚类算法（2）
precision（2）
target（2）
模型（2）
云镜（主机安全）（1）
语音识别（1）
其他（1）
官方文档（1）
go（1）
xml（1）
单片机（1）
云数据库 SQL Server（1）
nosql（1）
打包（1）
ide（1）
vba（1）
全文检索（1）
ubuntu（1）
容器镜像服务（1）
日志服务（1）
TAPD 敏捷项目管理（1）
知识图谱（1）
图像处理（1）
企业（1）
vr 视频解决方案（1）
yarn（1）
存储（1）
shell（1）
jdk（1）
ssh（1）
hive（1）
grep（1）
二叉树（1）
tcp/ip（1）
kernel（1）
微信（1）
腾讯云开发者社区（1）
processing（1）
敏感数据处理（1）
kafka（1）
unicode（1）
项目管理（1）
area（1）
break（1）
class（1）
curve（1）
dp（1）
dt（1）
email（1）
excel（1）
for循环（1）
goto（1）
kaggle（1）
lift（1）
list（1）
member（1）
pdf（1）
position（1）
pyspark（1）
time（1）
产品经理（1）
公众号（1）
函数（1）
集合（1）
监控（1）
可视化（1）
面试（1）
数据（1）
统计（1）
搜索文章
搜索
搜索
关闭
一起揭开 PySpark 编程的神秘面纱
spark
python
sql
分布式
Spark 是 UC Berkeley AMP lab 开发的一个集群计算的框架，类似于 Hadoop，但有很多的区别。最大的优化是让计算任务的中间结果可以存储在内存中，不需要每次都写入 HDFS，更适用于需要迭代的 MapReduce 算法场景中，可以获得更好的性能提升。例如一次排序测试中，对 100TB 数据进行排序，Spark 比 Hadoop 快三倍，并且只需要十分之一的机器。Spark 集群目前最大的可以达到 8000 节点，处理的数据达到 PB 级别，在互联网企业中应用非常广泛。
Sam Gor
2021-09-29
2K
0
想学习Spark？先带你了解一些基础的知识
sql
hadoop
apache
大数据
分布式
之前也学习过一阵子的Spark了，是时候先输出一些知识内容了，一来加深印象，二来也可以分享知识，一举多得，今天这篇主要是在学习实验楼的一门课程中自己记下来的笔记，简单梳理了一下，当做是需要了解得基础知识，让不熟悉Spark的同学也有一些简单的认识，里面若有写错的地方也希望大伙们指出哈。
Sam Gor
2020-07-28
2.1K
0
BigData | 大数据处理基本功（下）
apache
数据处理
windows
分布式
指的是将多个不同的处理模块连接在一起，最后得出一个自己需要的结果的有向无环图（Directed Acyclic Graph/DAG）的系统。
Sam Gor
2019-08-22
594
0
没有更多了
社区活动
腾讯技术创作狂欢月
“码”上创作 21 天，分 10000 元奖品池！
立即发文
Python精品学习库
代码在线跑，知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客，速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档