腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
挖掘大数据
专栏成员
举报
113
文章
200655
阅读量
71
订阅数
订阅专栏
申请加入专栏
全部文章(113)
大数据(60)
hadoop(18)
人工智能(14)
spark(14)
数据处理(13)
数据库(10)
其他(7)
apache(7)
机器学习(6)
java(5)
云数据库 SQL Server(5)
分布式(5)
数据可视化(4)
数据挖掘(3)
mongodb(3)
linux(2)
企业(2)
编程算法(2)
开源(2)
hbase(2)
区块链(1)
python(1)
javascript(1)
scala(1)
node.js(1)
ajax(1)
eclipse(1)
github(1)
搜索引擎(1)
神经网络(1)
深度学习(1)
日志服务(1)
访问管理(1)
生物基因(1)
http(1)
存储(1)
运维(1)
网络安全(1)
hive(1)
openstack(1)
zookeeper(1)
敏捷开发(1)
uml(1)
数据分析(1)
系统架构(1)
基础教育(1)
搜索文章
搜索
搜索
关闭
如何成为一名10x的数据分析师?
其他
不知道大家以前听没听说过“10x Developer”这个词,如果你连听都还没听说过,那可真是时候考虑放弃自己的程序猿事业了。就像传说一样,一些程序猿的战斗力能达到同行的10倍,也就是说一个10x程序猿能够替换一个10人的开发团队。
挖掘大数据
2018-01-17
819
0
Win7下Eclipse开发hadoop应用程序环境搭建
其他
在Linux下使用安装Eclipse来进行hadoop应用开发,但是大部分Java程序员对linux系统不是那么熟悉,所以需要在windows下开发hadoop程序,经过试验,总结了如何在windows下使用Eclipse来开发hadoop程序代码。 1、需要下载hadoop的专门插件jar包 hadoop版本为2.3.0,hadoop集群搭建在centos6x上面,把插件包下载后,jar包名字为hadoop-eclipse-plugin-2.3.0,可以适用于hadoop2x系列软件版本。 2、把插件包放到eclipse/plugins目录下 为了以后方便,我这里把尽可能多的jar包都放进来了。 3、重启eclipse,配置Hadoopinstallationdirectory 如果插件安装成功,打开Windows—Preferences后,在窗口左侧会有HadoopMap/Reduce选项,点击此选项,在窗口右侧设置Hadoop安装路径。 4、配置Map/ReduceLocations 打开Windows-->OpenPerspective-->Other 选择Map/Reduce,点击OK,在右下方看到有个Map/ReduceLocations的图标,点击Map/ReduceLocation选项卡,点击右边小象图标,打开HadoopLocation配置窗口:输入LocationName,任意名称即可.配置Map/ReduceMaster和DFSMastrer,Host和Port配置成与core-site.xml的设置一致即可。 去找core-site.xml配置: fs.default.namehdfs://name01:9000 点击"Finish"按钮,关闭窗口。点击左侧的DFSLocations—>myhadoop(上一步配置的locationname),如能看到user,表示安装成功,但是进去看到报错信息:Error:Permissiondenied:user=root,access=READ_EXECUTE,inode="/tmp";hadoop:supergroup:drwx---------。 应该是权限问题:把/tmp/目录下面所有的关于hadoop的文件夹设置成hadoop用户所有然后分配授予777权限。 cd/tmp/ chmod777/tmp/ chown-Rhadoop.hadoop/tmp/hsperfdata_root 之后重新连接打开DFSLocations就显示正常了。 Map/ReduceMaster(此处为Hadoop集群的Map/Reduce地址,应该和mapred-site.xml中的mapred.job.tracker设置相同) (1):点击报错: Aninternalerroroccurredduring:"ConnectingtoDFShadoopname01". java.net.UnknownHostException:name01 直接在hostname那一栏里面设置ip地址为:192.168.52.128,即可,这样就正常打开了,如下图所示: 5、新建WordCount项目 File—>Project,选择Map/ReduceProject,输入项目名称WordCount等。 在WordCount项目里新建class,名称为WordCount,报错代码如下:InvalidHadoopRuntimespecified;pleaseclick'ConfigureHadoopinstalldirectory'orfillinlibrarylocationinputfield,报错原因是目录选择不对,不能选择在跟目录E:\hadoop下,换成E:\u\hadoop\就可以了,如下所示: 一路下一步过去,点击Finished按钮,完成工程创建,Eclipse控制台下面出现如下信息: 14-12-9下午04时03分10秒:EclipseisrunninginaJRE,butaJDKisrequired SomeMavenpluginsmaynotworkwhenimportingprojectsorupdatingsourcefolders. 14-12-9下午04时03分13秒:Refreshing[/WordCount/pom.xml] 14-12-9下午04时03分14秒:Refreshing[/WordCount/pom.xml] 14-12-9下午04时03分14秒:Refreshing[/WordCount/pom.xml] 14-12-9下午04时03分14秒:Updatingindexcentral|http://repo1.maven.o
挖掘大数据
2018-01-17
1.1K
0
处理海量数据的10种常见方法
其他
本文将介绍10种处理海量数据问题的常见方法,也可以说是对海量数据的处理方法进行一个简单的总结,希望对你有帮助。
挖掘大数据
2018-01-17
1.7K
1
常用的Hadoop 文件查看工具
其他
packages.config <?xml version="1.0" encoding="utf-8"?> <packages> <package id="Microsoft.AspNet.W
挖掘大数据
2018-01-15
2K
0
IDC企业级WLAN榜单揭晓,新华三瞄准“十连冠”
其他
本文介绍了新华三集团在中国区企业级WLAN市场中的优势地位,通过不断创新和升级,积累了五百多款产品,并致力于为客户提供高品质服务。新华三的无线产品已在多个领域广泛应用,包括互联网、医疗、教育、政务、交通等。此外,新华三还积极与行业合作伙伴共同推动市场变革,以开放合作的心态推动产业发展。
挖掘大数据
2018-01-04
724
0
干货:流计算框架 Flink 与 Storm 的性能对比
其他
挖掘大数据
2017-12-25
2.5K
0
教程说明:HBase下载、安装与配置
其他
本文介绍了HBase的下载、安装与配置,包括单机模式、伪分布式模式和完全分布式模式。HBase是一个基于Hadoop的分布式列存数据库,采用Zookeeper进行协调和管理,通过HDFS和MapReduce进行数据存储和计算。
挖掘大数据
2017-12-20
1.2K
0
没有更多了
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
立即查看
Python精品学习库
代码在线跑,知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档