腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
北京马哥教育
专栏作者
举报
1832
文章
3324640
阅读量
203
订阅数
订阅专栏
申请加入专栏
全部文章（999+）
linux（427）
python（425）
其他（403）
运维（172）
存储（141）
数据库（103）
安全（82）
编程算法（79）
shell（72）
云数据库 SQL Server（66）
开源（65）
https（57）
bash（56）
nginx（52）
爬虫（52）
unix（43）
人工智能（43）
sql（42）
windows（40）
java（38）
自动化（37）
ssh（37）
容器（35）
git（34）
分布式（34）
html（33）
容器镜像服务（32）
php（31）
api（31）
tcp/ip（31）
大数据（30）
bash 指令（29）
http（28）
网络安全（28）
grep（28）
缓存（26）
微信（25）
github（24）
yum（24）
数据分析（24）
数据处理（24）
ubuntu（23）
云数据库 Redis（22）
黑客（22）
apache（21）
正则表达式（21）
zabbix（19）
centos（18）
机器学习（17）
django（17）
网站（17）
数据结构（17）
node.js（16）
游戏（15）
dns（15）
devops（14）
tomcat（13）
hadoop（12）
系统架构（12）
ruby（11）
oracle（11）
ftp（11）
数据可视化（11）
云服务器（10）
openstack（10）
虚拟化（10）
数据挖掘（9）
javascript（9）
kubernetes（9）
kvm（9）
安全漏洞（9）
go（8）
nosql（8）
mongodb（8）
gui（8）
kernel（8）
nat（8）
负载均衡（7）
mac os（7）
.net（7）
json（7）
打包（7）
负载均衡缓存（7）
微服务（7）
c++（6）
xml（6）
access（6）
访问管理（6）
es 2（6）
压力测试（6）
erp（6）
unity（6）
scrapy（6）
lamp（6）
小程序（6）
网站建设（6）
云计算（6）
人脸识别（5）
ios（5）
ide（5）
腾讯云测试服务（5）
jdk（5）
图像识别（5）
wordpress（5）
sql server（5）
cdn（5）
ddos（5）
udp（5）
socket编程（5）
架构设计（5）
android（4）
mapreduce（4）
numpy（4）
单元测试（4）
腾讯云开发者社区（4）
NLP 服务（3）
c 语言（3）
perl（3）
css（3）
jquery（3）
memcached（3）
flask（3）
搜索引擎（3）
神经网络（3）
数据安全（3）
express（3）
spark（3）
jvm（3）
asp（3）
jenkins（3）
lnmp（3）
anaconda（3）
物联网（3）
kafka（3）
Elasticsearch Service（3）
进程（3）
区块链（2）
lua（2）
scala（2）
bootstrap（2）
ajax（2）
汇编语言（2）
嵌入式（2）
mvc（2）
jar（2）
apt-get（2）
spring（2）
深度学习（2）
文件存储（2）
命令行工具（2）
图像处理（2）
DevOps 解决方案（2）
数据备份（2）
yarn（2）
html5（2）
面向对象编程（2）
决策树（2）
线性回归（2）
selenium（2）
rpc（2）
敏捷开发（2）
rabbitmq（2）
sas（2）
实时监控（2）
it（2）
server（2）
time（2）
云点播（1）
swift（1）
servlet（1）
jsp（1）
asp.net（1）
r 语言（1）
react（1）
opengl（1）
qt（1）
单片机（1）
arm（1）
makefile（1）
sqlite（1）
web.py（1）
ruby on rails（1）
eclipse（1）
windows server（1）
solaris（1）
tornado（1）
腾讯云可观测平台（1）
云数据库 MongoDB（1）
TDSQL MySQL 版（1）
NAT 网关（1）
VPN 连接（1）
消息队列 CMQ 版（1）
数据加密服务（1）
cci 持续集成（1）
日志数据（1）
渲染（1）
sass（1）
数据迁移（1）
无人驾驶（1）
hive（1）
opencv（1）
监督学习（1）
zookeeper（1）
seo（1）
二叉树（1）
ntp（1）
机器人（1）
processing（1）
jupyter notebook（1）
unicode（1）
ipv6（1）
测试策略（1）
性能测试（1）
etcd（1）
es（1）
flink（1）
学习方法（1）
流计算 Oceanus（1）
测试服务（1）
教育（1）
bug（1）
client（1）
epoll（1）
filter（1）
iptables（1）
mutex（1）
pmp（1）
process（1）
project（1）
rpm（1）
search（1）
select（1）
semaphore（1）
send（1）
share（1）
sign（1）
signature（1）
summary（1）
tcp（1）
thread（1）
vim（1）
wireshark（1）
测试（1）
程序员（1）
创业（1）
客户端（1）
内核（1）
排序（1）
思维导图（1）
效率（1）
异步（1）
搜索文章
搜索
搜索
关闭
Hadoop与Spark常用配置参数总结
jar
mapreduce
spark
背景 MapReduce和Spark对外提供了上百个配置参数，用户可以为作业定制这些参数以更快，更稳定的运行应用程序。本文梳理了最常用的一些MapReduce和Spark配置参数。 MapReduce重要配置参数 1. 资源相关参数 (1) mapreduce.map.memory.mb: 一个Map Task可使用的资源上限（单位:MB），默认为1024。如果Map Task实际使用的资源量超过该值，则会被强制杀死。 (2) mapreduce.reduce.memory.mb: 一个Reduce Ta
小小科
2018-05-04
1.4K
0
大数据生态圈到底是一个什么概念？
sql
hive
mapreduce
spark
数据处理
大数据这个概念本身就太大而且太宽，如果一定要严格定义是非常困难的一件事，不过Hadoop生态圈或者由其延伸的泛生态系统，基本上都是为了处理大量数据诞生的——一般而言，这种数据依赖单机很难完成。 这个圈子里的工具，就像是我们厨房里的各种厨具——各自都有不同的用处，但也有一部分功能重合，比如盆和豌都可以用来喝汤，削皮刀和菜刀都可以用来去皮。 但是，盆用来喝汤未免奇怪，削皮刀切菜也是万万不能。即使你强行要创造一些奇异的组合，即使最终完成工作，却不一定是最快、最好的选择。 大数据，首先你要能存的下大数据。 对传
小小科
2018-05-03
602
0
Spark：一个高效的分布式计算系统
spark
分布式
马哥linux运维 | 最专业的linux培训机构 ---- 概述 什么是Spark Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架，Spark基于map reduce算法实现的分布式计算，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出和结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的map reduce的算法。其架构如下图所示：
小小科
2018-05-02
2.2K
0
没有更多了
社区活动
腾讯技术创作狂欢月
“码”上创作 21 天，分 10000 元奖品池！
立即发文
Python精品学习库
代码在线跑，知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客，速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档