腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
编程
写写文章,造造轮子,推荐几篇文章的专栏~
专栏成员
举报
773
文章
1151068
阅读量
114
订阅数
订阅专栏
申请加入专栏
全部文章(773)
python(238)
java(68)
数据库(62)
其他(57)
编程算法(56)
linux(36)
javascript(35)
机器学习(30)
css(29)
php(28)
爬虫(27)
c 语言(25)
c++(25)
html(25)
人工智能(25)
android(20)
sql(19)
https(19)
深度学习(17)
网站(17)
大数据(16)
安全(15)
网络安全(14)
node.js(13)
云数据库 SQL Server(13)
数据处理(13)
图像处理(12)
react(11)
github(10)
api(10)
ios(9)
spring(9)
神经网络(9)
http(9)
游戏(9)
spark(9)
windows(9)
数据结构(9)
go(8)
vue.js(8)
jquery(8)
存储(8)
ssh(8)
正则表达式(8)
git(7)
kotlin(7)
打包(6)
容器(6)
自动化(6)
缓存(6)
html5(6)
图像识别(6)
scrapy(6)
安全漏洞(6)
r 语言(5)
xml(5)
json(5)
django(5)
搜索引擎(5)
webpack(5)
shell(5)
hadoop(5)
npm(5)
微信(5)
人脸识别(4)
swift(4)
ruby(4)
servlet(4)
angularjs(4)
mvc(4)
ide(4)
ubuntu(4)
mongodb(4)
分布式(4)
运维(4)
自动化测试(4)
cdn(4)
selenium(4)
socket编程(4)
数据分析(4)
编程(4)
区块链(3)
NLP 服务(3)
数据挖掘(3)
bash(3)
ajax(3)
单片机(3)
云数据库 Redis(3)
apache(3)
nginx(3)
容器镜像服务(3)
mapreduce(3)
腾讯云测试服务(3)
spring boot(3)
线性回归(3)
seo(3)
sas(3)
tensorflow(2)
objective-c(2)
perl(2)
c#(2)
bootstrap(2)
regex(2)
ecmascript(2)
qt(2)
ruby on rails(2)
struts(2)
bash 指令(2)
批量计算(2)
开源(2)
jdk(2)
numpy(2)
sql server(2)
面向对象编程(2)
jdbc(2)
决策树(2)
ftp(2)
aop(2)
数据可视化(2)
微服务(2)
fpga(2)
bug(2)
google(2)
text(2)
比特币(1)
数字货币(1)
lua(1)
.net(1)
listview(1)
sqlite(1)
tomcat(1)
windows server(1)
centos(1)
apt-get(1)
tornado(1)
文件存储(1)
TDSQL MySQL 版(1)
es 2(1)
渲染(1)
微信小程序音视频(1)
express(1)
redux(1)
yarn(1)
xslt & xpath(1)
gulp(1)
grunt(1)
黑客(1)
强化学习(1)
gui(1)
mybatis(1)
dns(1)
opencv(1)
hashmap(1)
监督学习(1)
推荐系统(1)
unity(1)
pytorch(1)
flash(1)
dubbo(1)
udp(1)
jenkins(1)
hexo(1)
anaconda(1)
小程序(1)
机器人(1)
系统架构(1)
架构设计(1)
nest(1)
canvas(1)
kafka(1)
sdn(1)
flink(1)
流计算 Oceanus(1)
border(1)
debug(1)
href(1)
iso(1)
it(1)
ode(1)
setter(1)
tdd(1)
this(1)
valgrind(1)
web(1)
width(1)
服务器(1)
数据(1)
文件系统(1)
系统(1)
硬件(1)
中间件(1)
搜索文章
搜索
搜索
关闭
大数据干货系列(六)-Spark总结
spark
mapreduce
本文共计1611字,预计阅读时长八分钟 Spark总结 一、本质 Spark是一个分布式的计算框架,是下一代的MapReduce,扩展了MR的数据处理流程 二、mapreduce有什么问题 1.调度慢,启动map、reduce太耗时 2.计算慢,每一步都要保存中间结果落磁盘 3.API抽象简单,只有map和reduce两个原语 4.缺乏作业流描述,一项任务需要多轮mr 三、spark解决了什么问题 1.最大化利用内存cache 2.中间结果放内存,加速迭代 3.将结果集放内存,加速后续查询和处理,解决运行慢
企鹅号小编
2018-01-29
735
0
如何正确并快速理解MapReduce
mapreduce
什么是MapReduce?Map本意可以理解为地图,映射(面向对象语言都有Map集合),这里我们可以理解为从现实世界获得或产生映射。Reduce本意是减少的意思,这里我们可以理解为归并前面Map产生的映射。 MapReduce的编程模型 按照google的MapReduce论文所说的,MapReduce的编程模型的原理是:利用一个输入key/value对集合来产生一个输出的key/value对集合。MapReduce库的用户用两个函数表达这个计算:Map和Reduce。用户自定义的Map函数接受一个输入的k
企鹅号小编
2018-01-24
638
0
Python之路-day6
mapreduce
所谓高阶函数,简单点说就是将一个函数作为另一个函数的传入参数,这样我们就称这个组合函数为高阶函数。 举个例子: map()函数能接收两个参数,一个为函数,一个为Interable。 函数f(x)=x*3,运用此函数将列表[1,2,3,4,5,6]中的元素扩大3倍。 #高阶函数 deff(x): returnx*3 y =map(f,[1,2,3,4,5,6]) print(list(y)) 输出是: [3, 6, 9, 12, 15, 18] 如果不使用“list()”,会怎样呢? #高阶函数 deff(x
企鹅号小编
2018-01-24
674
0
没有更多了
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
立即查看
Python精品学习库
代码在线跑,知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档