腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
用户画像
专栏成员
举报
981
文章
1031015
阅读量
53
订阅数
订阅专栏
申请加入专栏
全部文章(981)
编程算法(304)
其他(229)
存储(70)
二叉树(54)
java(46)
python(45)
sql(31)
人工智能(24)
数据库(23)
https(22)
机器学习(20)
linux(20)
神经网络(18)
深度学习(18)
数据结构(15)
缓存(14)
推荐系统(12)
tcp/ip(12)
html(11)
云数据库 SQL Server(11)
大数据(11)
python3(11)
spring(10)
node.js(9)
windows(9)
编程(9)
程序(9)
函数(9)
xml(8)
github(8)
maven(8)
apache(8)
hadoop(8)
hive(8)
bash(7)
api(7)
struts(7)
网络安全(7)
安全(7)
c++(6)
javascript(6)
spark(6)
jdk(6)
决策树(6)
leetcode(6)
云数据库 Redis(5)
jar(5)
tomcat(5)
http(5)
分布式(5)
正则表达式(5)
机器人(5)
数据分析(5)
int(5)
数据(5)
数学(5)
jsp(4)
access(4)
mvc(4)
mapreduce(4)
网站(4)
shell(4)
ssh(4)
erp(4)
数据处理(4)
特征工程(4)
date(4)
程序员(4)
NLP 服务(3)
ios(3)
servlet(3)
jquery(3)
json(3)
ajax(3)
android(3)
汇编语言(3)
git(3)
svn(3)
unix(3)
bash 指令(3)
文件存储(3)
腾讯云测试服务(3)
容器(3)
grep(3)
微信(3)
信息流(3)
bit(3)
matrix(3)
操作系统(3)
链表(3)
搜索(3)
字符串(3)
对象存储(2)
数据挖掘(2)
tensorflow(2)
scala(2)
bootstrap(2)
css(2)
短视频(2)
访问管理(2)
命令行工具(2)
内容理解(2)
mongodb(2)
企业(2)
jdbc(2)
hashmap(2)
监督学习(2)
ftp(2)
zookeeper(2)
aop(2)
gradle(2)
腾讯云开发者社区(2)
kafka(2)
聚类算法(2)
cat(2)
dfs(2)
fibonacci(2)
gradient(2)
ip(2)
local(2)
max(2)
null(2)
precision(2)
push(2)
server(2)
table(2)
txt(2)
编码(2)
表格(2)
二进制(2)
基础(2)
集合(2)
交换机(2)
局域网(2)
通信(2)
异步(2)
负载均衡(1)
mac os(1)
iphone(1)
ruby(1)
asp.net(1)
regex(1)
angularjs(1)
oracle(1)
ruby on rails(1)
打包(1)
eclipse(1)
搜索引擎(1)
全文检索(1)
lucene/solr(1)
centos(1)
负载均衡缓存(1)
TDSQL MySQL 版(1)
NAT 网关(1)
消息队列 CMQ 版(1)
es 2(1)
电商(1)
金融(1)
开源(1)
自动化(1)
压力测试(1)
html5(1)
gui(1)
mybatis(1)
numpy(1)
面向对象编程(1)
dns(1)
线性回归(1)
unity(1)
asp(1)
seo(1)
dubbo(1)
rpc(1)
udp(1)
scikit-learn(1)
模式识别(1)
anaconda(1)
hbase(1)
nat(1)
云计算(1)
unicode(1)
es(1)
学习方法(1)
Elasticsearch Service(1)
app(1)
arraylist(1)
awk(1)
biginteger(1)
case(1)
character(1)
class(1)
classification(1)
commit(1)
conda(1)
copy(1)
data(1)
db(1)
decimal(1)
display(1)
double(1)
dt(1)
explode(1)
expression(1)
file(1)
frame(1)
function(1)
google(1)
hdfs(1)
include(1)
ipv4(1)
lag(1)
line(1)
ls(1)
macbook(1)
math(1)
merge(1)
min(1)
mysql(1)
orders(1)
packet(1)
partition(1)
pip(1)
private(1)
protected(1)
public(1)
random(1)
record(1)
regression(1)
replace(1)
root(1)
row(1)
select(1)
set(1)
sort(1)
sum(1)
svm(1)
synchronous(1)
tail(1)
target(1)
tcp(1)
timedelta(1)
tree(1)
truncate(1)
vector(1)
view(1)
xgboost(1)
编程语言(1)
遍历(1)
磁盘(1)
动态规划(1)
队列(1)
分页(1)
计算机(1)
加密(1)
解决方案(1)
接口设计(1)
进程(1)
连接(1)
内存(1)
内核(1)
排序(1)
权限(1)
事件(1)
树形结构(1)
数组(1)
算法(1)
索引(1)
同步(1)
统计(1)
系统(1)
效率(1)
小游戏(1)
语法(1)
原理(1)
指针(1)
主机(1)
搜索文章
搜索
搜索
关闭
Spark学习:Spark源码和调优简介 Spark Core (二)
spark
本文基于 Spark 2.4.4 版本的源码,试图分析其 Core 模块的部分实现原理,其中如有错误,请指正。为了简化论述,将部分细节放到了源码中作为注释,因此正文中是主要内容。
week
2020-04-10
373
0
Spark学习:Spark源码和调优简介 Spark Core (一)
spark
本文基于 Spark 2.4.4 版本的源码,试图分析其 Core 模块的部分实现原理,其中如有错误,请指正。为了简化论述,将部分细节放到了源码中作为注释,因此正文中是主要内容。
week
2020-04-08
334
0
HDFS
大数据
node.js
hadoop
spark
apache
HDFS(Hadoop Distributed File System,Hadoop分布式文件系统)最开始是作为Apache Nutch搜索引擎项目的基础架构而开发的,是Apache Hadoop Core项目的一部分。HDFS被设计为可以运行在通用硬件(commodity hardware)上、提供流式数据操作、能够处理超大文件的分布式文件系统。HDFS具有高度容错、高吞吐量、容易扩展、高可靠性等特征,为大型数据集的处理提供了强有力的工具。
week
2019-06-26
1K
0
Mac搭建Spark环境
bash
bash 指令
spark
scala
版权声明:本文为博主-姜兴琪原创文章,未经博主允许不得转载。 https://blog.csdn.net/jxq0816/article/details/89518847
week
2019-05-10
3.6K
0
Spark DataFrame
spark
python
DataFrame是一种不可变的分布式数据集,这种数据集被组织成指定的列,类似于关系数据库中的表。SchemaRDD作为Apache Spark 1.0版本中的实验性工作,它在Apache Spark 1.3版本中被命名为DataFrame。对于熟悉Python pandas DataFrame或者R DataFrame的读者,Spark DataFrame是一个近似的概念,即允许用户轻松地使用结构化数据(如数据表)。
week
2018-12-07
907
0
Spark Streaming
spark
Spark Streaming 是spark提供的对实时数据进行流式计算的组件。比如生产环境中的网页服务器日志,或者网络服务中用户提交的状态更新组成的消息队列,都是数据流。Spark Streaming提供了用来操作数据流的API,并且与Spark Core中的RDD API高度对应。这样一来,程序员编写应用时的学习门槛得以降低,无论是操作内存或硬盘中的数据,还是操作实时数据流,程序员都更能应对自如。从底层设计来看,Spark Streaming支持与Spark Core同级别的容错性、吞吐量以及可伸缩性。
week
2018-12-07
654
0
没有更多了
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
立即查看
Python精品学习库
代码在线跑,知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档