腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
开源部署
专栏作者
举报
4656
文章
6140794
阅读量
51
订阅数
订阅专栏
申请加入专栏
全部文章（999+）
sql（984）
数据库（949）
linux（802）
http（707）
云数据库 SQL Server（616）
编程算法（578）
node.js（488）
tcp/ip（444）
bash（429）
网站（392）
bash 指令（367）
nginx（364）
java（339）
网络安全（306）
html（284）
php（272）
hadoop（261）
https（253）
apache（241）
ssh（233）
oracle（209）
yum（203）
容器镜像服务（202）
容器（191）
python（177）
存储（171）
tomcat（154）
缓存（154）
ide（153）
centos（148）
数据分析（128）
xml（121）
unix（119）
大数据（119）
腾讯云测试服务（117）
打包（113）
windows（105）
apt-get（102）
ubuntu（99）
云数据库 Redis（92）
c++（87）
grep（86）
面向对象编程（85）
git（84）
javascript（80）
dns（78）
zabbix（78）
文件存储（76）
SSL 证书（76）
云推荐引擎（76）
wordpress（75）
负载均衡（71）
api（70）
网站建设（70）
shell（68）
ftp（68）
命令行工具（63）
kubernetes（61）
负载均衡缓存（57）
mapreduce（55）
访问管理（55）
jdk（55）
github（52）
access（48）
svn（47）
单片机（45）
分布式（45）
虚拟化（45）
servlet（43）
mongodb（42）
开源（42）
云服务器（41）
日志服务（41）
android（40）
spring（40）
web.py（39）
云数据库 MongoDB（38）
数据结构（38）
zookeeper（37）
DevOps 解决方案（36）
css（34）
json（34）
jar（34）
socket编程（34）
sql server（33）
udp（33）
ruby on rails（32）
Elasticsearch Service（32）
微服务（30）
腾讯云开发者社区（30）
jenkins（27）
jquery（26）
django（26）
kernel（26）
ios（25）
memcached（25）
eclipse（25）
maven（25）
yarn（25）
postgresql（24）
hive（24）
ntp（24）
lucene/solr（22）
数据加密服务（22）
hbase（22）
nat（22）
es（22）
jdbc（21）
ipv6（21）
数据库管理（21）
rpc（20）
kafka（20）
etcd（20）
go（19）
TDSQL MySQL 版（19）
perl（18）
压力测试（18）
lnmp（18）
运维（17）
云数据库 postgresql（17）
jsp（16）
flask（16）
全文检索（16）
openstack（16）
gcc（16）
安全（16）
utf8（16）
ruby（15）
makefile（15）
phpmyadmin（15）
vr 视频解决方案（15）
spring boot（15）
对象存储（14）
.net（14）
NAT 网关（14）
spark（14）
jvm（14）
unity（14）
rabbitmq（14）
lamp（14）
自动驾驶（13）
seo（13）
spring cloud（13）
select（13）
mvc（12）
专用宿主机（12）
正则表达式（12）
mybatis（12）
其他（11）
lua（11）
nosql（11）
iis（11）
kvm（11）
迁移（11）
null（11）
系统（11）
DNS 解析 DNSPod（10）
bootstrap（10）
windows server（10）
数据备份（10）
erlang（9）
cdn（9）
数据处理（9）
com（9）
max（9）
analyzer（8）
批量计算（8）
hashmap（8）
监控（8）
脚本（8）
官方文档（7）
腾讯云gme（7）
sqlite（7）
cci 持续集成（7）
自动化（7）
爬虫（7）
gui（7）
单元测试（7）
微信（7）
add（7）
date（7）
mysql（7）
var（7）
scala（6）
asp.net（6）
r 语言（6）
搜索引擎（6）
tornado（6）
flash（6）
processing（6）
unicode（6）
flink（6）
流计算 Oceanus（6）
count（6）
join（6）
root（6）
table（6）
客户端（6）
权限（6）
actionscript（5）
嵌入式（5）
sqlalchemy（5）
消息队列 CMQ 版（5）
游戏（5）
html5（5）
dubbo（5）
性能测试（5）
account（5）
data（5）
int（5）
key（5）
min（5）
size（5）
time（5）
插件（5）
日志（5）
视频（5）
统计（5）
私有网络（4）
mac os（4）
ajax（4）
腾讯云可观测平台（4）
全站加速网络（4）
人工智能（4）
企业（4）
云数据库 MySQL（4）
asp（4）
npm（4）
sas（4）
验证码（4）
break（4）
class（4）
copy（4）
default（4）
email（4）
having（4）
io（4）
list（4）
restart（4）
service（4）
管理（4）
函数（4）
计算机（4）
排序（4）
域名（4）
费用中心（3）
云硬盘（3）
区块链（3）
c#（3）
regex（3）
vue.js（3）
ecmascript（3）
数据库一体机 TData（3）
域名注册（3）
企业邮箱（3）
文字识别（3）
express（3）
devops（3）
erp（3）
二叉树（3）
uml（3）
kerberos（3）
任务调度（3）
mvcc（3）
ascii（3）
sdk（3）
between（3）
chatgpt（3）
chmod（3）
dba（3）
exit（3）
file（3）
init（3）
input（3）
ip（3）
limit（3）
line（3）
localhost（3）
nagios（3）
object（3）
set（3）
swap（3）
sys（3）
task（3）
unique（3）
备份（3）
测试（3）
程序（3）
对象（3）
服务器（3）
集合（3）
连接（3）
数据（3）
同步（3）
虚拟机（3）
主机（3）
iphone（2）
swift（2）
c 语言（2）
arm（2）
硬件开发（2）
composer（2）
matlab（2）
laravel（2）
腾讯移动分析（2）
腾讯优客（2）
视频处理（2）
渲染（2）
serverless（2）
grunt（2）
数据迁移（2）
aop（2）
markdown（2）
anaconda（2）
powershell（2）
机器人（2）
云计算（2）
实时监控（2）
ghost（2）
drupal（2）
服务网格（2）
admin（2）
amd（2）
asm（2）
backup（2）
char（2）
client（2）
commit（2）
cs（2）
db（2）
device（2）
distinct（2）
dql（2）
exists（2）
grafana（2）
host（2）
import（2）
intel（2）
istio（2）
lock（2）
ls（2）
menu（2）
partition（2）
pid（2）
pool（2）
properties（2）
ps（2）
range（2）
rank（2）
return（2）
route（2）
row（2）
rpm（2）
server（2）
session（2）
settings（2）
sh（2）
shutdown（2）
snmp（2）
sort（2）
sql语句（2）
src（2）
sum（2）
url（2）
varchar（2）
view（2）
遍历（2）
磁盘（2）
队列（2）
接口（2）
可视化（2）
流量（2）
内存（2）
原理（2）
源码（2）
原型（2）
注解（2）
装饰器（2）
内容分发网络 CDN（1）
云点播（1）
语音识别（1）
机器学习（1）
react（1）
typescript（1）
汇编语言（1）
深度学习（1）
存储网关（1）
云直播（1）
移动直播（1）
VPN 连接（1）
海外加速（1）
cdn 边缘计算（1）
检测工具（1）
DDoS 防护（1）
腾讯git代码托管（工蜂）（1）
机器翻译（1）
知识图谱（1）
企鹅竞速（1）
图像处理（1）
云转码（1）
日志数据（1）
数据安全（1）
phpunit（1）
xslt & xpath（1）
parcel（1）
gulp（1）
自动化测试（1）
ddos（1）
gradle（1）
数据可视化（1）
物联网（1）
安全漏洞（1）
架构设计（1）
nest（1）
canvas（1）
yii（1）
防火墙（1）
Web 应用防火墙（1）
功能测试（1）
emr（1）
事件总线（1）
堡垒机（1）
汽车（1）
Anycast 公网加速（1）
acl（1）
agent（1）
aggregate（1）
aggregation（1）
anchor（1）
apache2（1）
app（1）
apply（1）
att（1）
attr（1）
auto（1）
base64（1）
bind（1）
bit（1）
buffer（1）
case（1）
cat（1）
centos7（1）
channel（1）
chrome（1）
click（1）
clone（1）
command（1）
config（1）
connect（1）
connection（1）
contains（1）
controller（1）
cpu（1）
cron（1）
ddl（1）
deadlock（1）
delay（1）
detect（1）
diff（1）
directory（1）
disk（1）
download（1）
driver（1）
dump（1）
event（1）
excel（1）
external（1）
facebook（1）
feign（1）
fgets（1）
firewall（1）
flatten（1）
fork（1）
format（1）
free（1）
gateway（1）
gnome（1）
google（1）
gpt（1）
guid（1）
handle（1）
hash（1）
hostname（1）
href（1）
hystrix（1）
ini（1）
innodb（1）
insert（1）
it（1）
jobs（1）
keepalived（1）
kill（1）
kubectl（1）
ldap（1）
lm（1）
local（1）
mac（1）
mask（1）
math（1）
md5（1）
media（1）
midi（1）
models（1）
monitor（1）
nas（1）
network（1）
newline（1）
openssl（1）
output（1）
pdb（1）
pip（1）
plugin（1）
plugins（1）
png（1）
proc（1）
prometheus（1）
prompt（1）
protected（1）
random（1）
readline（1）
record（1）
reference（1）
replace（1）
report（1）
reset（1）
restore（1）
reverse（1）
samba（1）
sample（1）
schema（1）
script（1）
security（1）
selection（1）
self（1）
send（1）
sensors（1）
shift（1）
shuffle（1）
sign（1）
sleep（1）
spa（1）
ssl（1）
state（1）
static（1）
status（1）
steam（1）
sticky（1）
storm（1）
string（1）
synchronous（1）
syslog（1）
tail（1）
tar（1）
target（1）
telnet（1）
text（1）
timeout（1）
timestamp（1）
title（1）
token（1）
transfer（1）
tree（1）
txt（1）
union（1）
upload（1）
version（1）
vi（1）
virtualbox（1）
visibility（1）
void（1）
vps（1）
web服务器（1）
yaml（1）
zero（1）
zip（1）
闭包（1）
编程（1）
变量（1）
博客（1）
部署（1）
操作系统（1）
代理（1）
登录（1）
递归（1）
二进制（1）
分页（1）
服务（1）
工具（1）
公众号（1）
工作（1）
集群（1）
教程（1）
进程（1）
镜像（1）
开发（1）
命令行（1）
模型（1）
排序算法（1）
配置（1）
事务（1）
数据类型（1）
索引（1）
网关（1）
网络（1）
微信公众号（1）
文件系统（1）
线程（1）
响应式（1）
协议（1）
异步（1）
异常（1）
硬件（1）
语法（1）
语音（1）
字符串（1）
作用域（1）
stable diffusion（1）
搜索文章
搜索
搜索
关闭
Python 高阶函数
mapreduce
编程算法
功能：将传输的函数fn依次作用到lsd集合中的每个元素，并把结果作为一个Iterator返回
星哥玩云
2022-09-08
337
0
搭建Spark高可用集群
spark
shell
mapreduce
编程算法
机器学习
从右侧最后一条新闻看，Spark也用于AI人工智能 spark是一个实现快速通用的集群计算平台。它是由加州大学伯克利分校AMP实验室 开发的通用内存并行计算框架，用来构建大型的、低延迟的数据分析应用程序。它扩展了广泛使用的MapReduce计算 模型。高效的支撑更多计算模式，包括交互式查询和流处理。spark的一个主要特点是能够在内存中进行计算，及时依赖磁盘进行复杂的运算，Spark依然比MapReduce更加高效。
星哥玩云
2022-07-28
666
0
CentOS 7.4下编译安装Hadoop 2.7.6 及所需文件
hadoop
yarn
node.js
maven
mapreduce
操作系统：CentOS Linux release 7.4.1708 (Core) 64位 使用软件如下： jdk1.8.0_112.tar.gz Hadoop-2.7.6-src.tar.gz apache-ant-1.9.11-bin.tar.gz apache-maven-3.5.3-bin.tar.gz findbugs-3.0.1.tar.gz protobuf-2.5.0.tar.gz
星哥玩云
2022-07-14
200
0
CentOS 64位上编译 Hadoop 2.6.0
hadoop
yarn
node.js
apache
mapreduce
Hadoop不提供64位编译好的版本，只能用源码自行编译64位版本。学习一项技术从安装开始，学习hadoop要从编译开始。
星哥玩云
2022-07-04
203
0
Hadoop学习概述
node.js
hadoop
mapreduce
分布式
Hadoop是由apache Software Foundation公司于2005年秋天作为Lucene的子项目Nutch的一部分正式引入的。它受到最先由google lab开发的mapreduce计算模型合google file system分布式文件系统的启发。2006年3月，mapreduce和nutch distributed file system 分别被纳入称为hadoop的项目中。
星哥玩云
2022-07-04
276
0
Hadoop单节点安装部署
hadoop
ssh
node.js
jdk
mapreduce
机器环境 Distributor ID: CentOS Description: CentOS release 5.8 (Final) Release: 5.8 Codename: Final jdk 版本 java version "1.6.0_45"
星哥玩云
2022-07-04
657
0
Hadoop不适合处理实时数据的原因剖析
hadoop
mapreduce
windows
数据处理
Hadoop已被公认为大数据分析领域无可争辩的王者，它专注与批处理。这种模型对许多情形（比如：为网页建立索引）已经足够，但还存在其他一些使用模型，它们需要来自高度动态的来源的实时信息。为了解决这个问题，就得借助Twitter推出得Storm。Storm不处理静态数据，但它处理预计会连续的流数据。考虑到Twitter用户每天生成1.4亿条推文，那么就很容易看到此技术的巨大用途。
星哥玩云
2022-07-04
508
0
Ubuntu 14.04下安装Hadoop2.4.0 （伪分布模式）
xml
大数据
mapreduce
yarn
node.js
在Ubuntu14.04下安装Hadoop2.4.0 （单机模式）基础上配置 http://www.linuxidc.com/Linux/2015-01/112370.htm
星哥玩云
2022-07-04
281
0
Hadoop2.6.0的Eclipse插件编译和设置
eclipse
ide
mapreduce
node.js
jar
git clone https://github.com/winghc/hadoop2x-eclipse-plugin.git
星哥玩云
2022-07-04
445
0
Eclipse下搭建Hadoop2.4.0开发环境
node.js
大数据
hadoop
mapreduce
eclipse
下载Eclipse，解压安装，例如安装到/usr/local，即/usr/local/eclipse
星哥玩云
2022-07-04
427
0
Hadoop单机伪分布式部署
node.js
ssh
mapreduce
hadoop
大数据
由于没有那么多机器，就在自己的虚拟机上部署一套Hadoop集群，这被称作伪分布式集群，但是不管怎么样，这里主要记录部署hadoop的过程以及遇到的问题，然后再使用一个简单的程序测试环境。
星哥玩云
2022-07-04
462
0
Hadoop启动，停止，与其中的守护进程的启动停止
bash
bash 指令
hadoop
mapreduce
node.js
start-all.sh 启动所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、JobTracker、 TaskTrack
星哥玩云
2022-07-04
1.7K
0
入门Hadoop的WordCount程序
hadoop
大数据
node.js
mapreduce
编程算法
本篇文章主要说两部分：简单介绍MapReduce的工作原理；详细解释WordCount程序。
星哥玩云
2022-07-03
489
0
Ubuntu下利用MyEclipse开发Hadoop程序
hadoop
node.js
大数据
mapreduce
eclipse
开发的大环境是Ubuntu 11.04，Hadoop 0.20.2，MyEclipse 9.1
星哥玩云
2022-07-03
246
0
MapReduce作业运行第三方配置文件的共享方法
mapreduce
编程算法
缓存
文件存储
jar
其实MapReduce作业运行第三方配置文件的共享方法往小了说其实就是参数在MapReduce作业中的传递，往大了说其实就是DistributedCache的应用。
星哥玩云
2022-07-03
245
0
如何使用Hadoop MapReduce实现不同复杂度的遥感产品算法
编程算法
mapreduce
MapReduce模型可分为单Reduce模式、多Reduce模式以及无Reduce模式，对于不同复杂度的指数产品生产算法，应根据需求选择不同的MapReduce计算模式。
星哥玩云
2022-07-03
538
0
Hadoop分区与分组
linux
hadoop
http
html
mapreduce
Hadoop权威指南(中文版-带目录索引)PDF 下载见 http://www.linuxidc.com/Linux/2013-05/84948.htm
星哥玩云
2022-07-03
242
0
Maven编译hadoop-2.2.0-src
hadoop
apache
yarn
node.js
mapreduce
Apache Maven 3.1.1 (0728685237757ffbf44136acec0402957f723d9a; 2013-09-17 23:22:22+0800) Maven home: /opt/maven Java version: 1.7.0_45, vendor: Oracle Corporation Java home: /usr/java/jdk1.7.0_45/jre Default locale: en_US, platform encoding: UTF-8 OS name: "linux", version: "2.6.18-371.3.1.el5", arch: "amd64", family: "unix"
星哥玩云
2022-07-03
264
0
Hadoop-2.4.1学习之如何确定Mapper数量
javascript
python
mapreduce
hadoop
node.js
MapReduce框架的优势是可以在集群中并行运行mapper和reducer任务，那如何确定mapper和reducer的数量呢，或者说Hadoop如何以编程的方式控制作业启动的mapper和reducer数量呢？在《Hadoop-2.4.1学习之Mapper和Reducer》中曾经提及建议reducer的数量为(0.95~1.75 ) * 节点数量 * 每个节点上最大的容器数，并可使用方法Job.setNumReduceTasks(int)，mapper的数量由输入文件的大小确定，且没有相应的setNumMapTasks方法，但可以通过Configuration.set(JobContext.NUM_MAPS, int)设置，其中JobContext.NUM_MAPS的值为mapreduce.job.maps，而在Hadoop的官方网站上对该参数的描述为与MapReduce框架和作业配置巧妙地交互，并且设置起来更加复杂。从这样一句含糊不清的话无法得知究竟如何确定mapper的数量，显然只能求助于源代码了。
星哥玩云
2022-07-03
426
0
Hadoop-2.4.1学习之Mapper和Reducer
hadoop
mapreduce
MapReduce允许程序员能够容易地编写并行运行在大规模集群上处理大量数据的程序，确保程序的运行稳定可靠和具有容错处理能力。程序员编写的运行在MapReduce上的应用程序称为作业（job），Hadoop既支持用Java编写的job，也支持其它语言编写的作业，比如Hadoop Streaming（shell、python）和Hadoop Pipes（c++）。Hadoop-2.X不再保留Hadoop-1.X版本中的JobTracker和TaskTracker组件，但这并不意味着Hadoop-2.X不再支持MapReduce作业，相反Hadoop-2.X通过唯一的主ResourceManager、每个节点一个的从NodeManager和每个应用程序一个的MRAppMaster保留了对MapReduce作业的向后兼容。在新版本中MapReduce作业依然由Map和Reduce任务组成，Map依然接收由MapReduce框架将输入数据分割为数据块，然后Map任务以完全并行的方式处理这些数据块，接着MapReduce框架对Map任务的输出进行排序，并将结果做为Reduce任务的输入，最后由Reduce任务输出最终的结果，在整个执行过程中MapReduce框架负责任务的调度，监控和重新执行失败的任务等。
星哥玩云
2022-07-03
618
0
点击加载更多
社区活动
RAG七天入门训练营
鹅厂大牛手把手带你上手实战，赢鹅厂证书、公仔好礼！
立即学习
Python精品学习库
代码在线跑，知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客，速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档