腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
用于
处理
非常大
的
二进制
文件
的
Hadoop
、
、
、
我有一个系统,我希望在其中分发一些
非常大
的
、不可分割
的
二进制
文件
,我希望以分布式
的
方式
处理
。这些是几百Gb
的
数量级。由于各种固定
的
、实现特定
的
原因,这些
文件
不能并行
处理
,而必须由相同
的
进程依次
处理
到最后。 这个应用程序是用C++开发
的
,所以我会考虑使用
Hadoop
管道来将数据输入和输出。每个实例都需要按其自身数
浏览 2
提问于2011-03-08
得票数 2
回答已采纳
3
回答
hadoop
是如何
处理
大
文件
的
?
、
我完全是
Hadoop
的
新手,尽管我对map reduce
的
概念非常了解。因此,我向
Hadoop
专家提出
的
问题是,
Hadoop
将如何
处理
大
文件
?它是将
文件
的
副本传输到每个映射器,还是自动将其
浏览 1
提问于2013-03-19
得票数 3
回答已采纳
1
回答
将记录存储在HDFS或HBase中
、
我有以下情况: 中间结果存储
浏览 5
提问于2015-11-04
得票数 2
回答已采纳
3
回答
找不到适
用于
32位windows
的
Hadoop
2.6.0
的
winutils.exe
、
我正在寻找适
用于
32位windows
的
winutils.exe和适
用于
Hadoop
2.6.0版本
的
hadoop
.dll。在执行Map reduce示例
的
过程中,首先我得到了告诉错误util.Shell
的
错误:在
hadoop
二进制
文件
路径中找不到winutils
二进制
文件
所以我下载了一个版本,并再次更新bin
文件
夹,执行同样
的
命
浏览 0
提问于2015-04-02
得票数 1
4
回答
如何在windows 8上配置
hadoop
2.3.0?
、
、
我尝试在windows上配置
hadoop
2.3.0,但它给了我还有很多其他
的
错误,比如"winutils.exe","
hadoop
.dll messing“和"load main class”错误。请帮助我在Windows8机器上配置
Hadoop
。 我已经安装了JDK1.7 cygwin64
浏览 1
提问于2014-04-08
得票数 0
1
回答
Apache线程"main“java.lang.NoClassDefFoundError中
的
异常: org/apache/
hadoop
/fs/FSDataInputStream
、
我正在尝试安装火花(没有
hadoop
)。your installation and try againCaused by: java.lang.ClassNotFoundException: org.apache.
hado
浏览 15
提问于2022-11-02
得票数 1
回答已采纳
1
回答
如何读取mrjob中
的
二进制
输入
文件
?
、
我
的
MapReduce程序
的
输入是一组
二进制
文件
。我希望能够通过mrjob阅读它们。经过一些研究,似乎我必须编写一个自定义
的
hadoop
流jar。有没有更简单
的
方法?或者这样
的
罐子是现成
的
吗?输入
文件
只是一个8字节
的
整数序列。我希望我
的
映射器函数一次调用2个整数。我首先想到
的
是可以将其转换为pickle
二进制
格式,然后指定: INPUT_PROT
浏览 2
提问于2014-05-19
得票数 0
1
回答
我使用
的
是CDH 5.11版本
、
我已经在我
的
系统上安装了sqoop,flume和spark,但我不确定如何导入图像
文件
。 我能够成功地使用sqoop从RDBMS导入数据,并且能够使用flume导入文本
文件
。
浏览 0
提问于2017-06-29
得票数 0
1
回答
Hadoop
,蜂箱,动物园管理员等
、
、
我开始了解
hadoop
。我对它有了一些了解,但是当我读到关于Hive,Pig和其他Apache工具时,我感到很困惑。因此,有人能简单地概述一下
hadoop
和Apache
的
工具(Hive、Pig、等),我想知道它们在
处理
大数据时是如何和在哪里使用
的
。
浏览 3
提问于2014-05-20
得票数 0
回答已采纳
1
回答
MapReduce在一台PC机上
的
性能
我听说
Hadoop
比MySQL有更好
的
性能。到目前为止,我已经使用了关系数据库,所以这对我来说确实是一种新技术。我有一台6核心电脑。假设我有一个20列和500万行
的
表。
Hadoop
是否为选择、插入和更新等操作提供了更好
的
性能? 在
Hadoop
1.1中,创建表、选择、更新、插入等
的
等效命令是什么?
浏览 0
提问于2012-12-17
得票数 1
回答已采纳
1
回答
使用HDFS存储不同大小
的
文件
、
、
、
、
我有一个相当理论性
的
问题。 我
的
团队正在开发和支持一个中等规模
的
java应用程序(目前是400 K行),它
处理
大量
二进制
文件
。目前,我们将所有数据存储在FS存储上。我们
处理
的
数据大小从每个
文件
1-2mb到数百mb (很少是千兆字节)不等,它是经常访问
的
。但我想强调
的
是,这些
文件
大多是,大部分是小。正如我所知道
的
,HDFS
的
设计是为了存储
非
浏览 3
提问于2017-06-17
得票数 0
回答已采纳
1
回答
线程“主”org.apache.
hadoop
.io.nativeio.NativeIO$Windows.access0中
的
S3错误异常
、
、
、
、
</groupId> <version>${
hadoop
.version}</version>
hadoop
-azure-datalake</artifactId> <&
浏览 0
提问于2020-04-15
得票数 2
4
回答
从
Hadoop
提供静态
文件
、
、
、
、
我
的
工作是为静态图像/视频
文件
设计一个分布式系统。数据
的
大小大约是几十兆字节。它主要
用于
HTTP访问(因此不对数据进行
处理
;或者只进行简单
的
处理
,例如调整大小--但是这并不重要,因为它可以直接在应用程序中完成)。更清楚一点
的
是,这是一个系统: 主要通过HTTP提供小
的
静态
文件
(如图像、缩略图、短视频)。通常,不需要
浏览 11
提问于2013-06-02
得票数 4
回答已采纳
2
回答
如何在pdf和doc
文件
上运行
Hadoop
字计数程序?
、
、
、
如何在pdf和doc
文件
上运行
Hadoop
程序?当我尝试在pdf
文件
上运行它时,输出会显示奇怪
的
字符。
浏览 2
提问于2013-03-08
得票数 2
2
回答
Pyspark -无法在
hadoop
二进制
文件
路径中找到winutils
二进制
文件
、
、
我需要运行一些巨大
的
文本
文件
。Pycharm表示没有找到名为Pyspark
的
模块我通过添加内容根并指向安装它
的
文件
夹来解决这个问题。 但问题是,每次我重新打开pycharm时,我都必须添加内容根源。我该如何解决
浏览 0
提问于2018-06-01
得票数 5
1
回答
mapreduce能否在共享元组空间(例如:数据库)上高效工作?
例如,要实现一个网络拖网工具,它对互联网进行索引,并计算不同网页上
的
所有术语,使用数据库作为后端可以有效地完成这一任务吗?
浏览 0
提问于2010-03-09
得票数 2
回答已采纳
1
回答
Hadoop
顺序数据访问
、
根据
Hadoop
最终指南: 什么是流访问或顺序数据访问?它将如何减少磁盘
的
查找时间?
浏览 0
提问于2014-04-08
得票数 3
回答已采纳
3
回答
序列
文件
相对于hdfs文本
文件
的
优势
、
、
与HDFS平面
文件
(文本)相比,
Hadoop
序列
文件
有什么优势?序列
文件
在哪方面是有效
的
? 可以合并小
文件
并将其写入序列
文件
,但也可以对HDFS文本
文件
执行相同
的
操作。需要知道这两种方式之间
的
区别。
浏览 2
提问于2012-08-02
得票数 21
回答已采纳
1
回答
使用supercsv
的
Hadoop
、
、
我必须在
非常大
的
文本
文件
(如5TB大小)中
处理
数据。
处理
逻辑使用supercsv解析数据并对其运行一些检查。显然,由于规模相当大,我们计划使用
hadoop
来利用并行计算
的
优势。我在我
的
机器上安装了
hadoop
,然后开始编写mapper和reducer类,然后我就被卡住了。因为映射需要一个键值对,所以要读取这个文本
文件
,我不确定在这个特定场景中应该是什么键和值。我
的
思考过程是这样
的
(
浏览 3
提问于2012-10-26
得票数 2
1
回答
将Json转换为
hadoop
的
顺序
文件
、
、
、
、
我有一个json
文件
(大小2-3 GB)存储在HDFS中。我
的
苍蝇看起来像这样{ "DateTimeDateTime" : 24-08-2015T00:00:00, "Cost":56.09,"UID":7,"Channel&
浏览 2
提问于2016-05-01
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
临时处理小记:把Numpy的narray二进制文件转换成json文件
你究竟知不知道大数据开发的工具有哪些?
Hadoop 分布式计算模型MapReduce(四):编程进阶
带着目的去阅读——Hadoop权威指南
走进Hbase
热门
标签
更多标签
云服务器
ICP备案
实时音视频
云直播
即时通信 IM
活动推荐
运营活动
广告
关闭
领券