腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
4
回答
直接
从
HDFS
读取
文件
、
有没有一种方法可以通过使用
HDFS
路径
直接
从
HDFS
读取
任何
文件
格式,而不必从
HDFS
本地拉出
文件
并
读取
它。
浏览 32
提问于2017-05-23
得票数 3
回答已采纳
1
回答
在eclipse中
读取
HDFS
文件
、
、
、
我已经在
hdfs
中安装了hadoop插件,mapreduce程序有迭代,我想在每次迭代中
读取
eclipse.my中的一个
文件
。我是
直接
从
hdfs
读取
文件
,还是将
文件
复制到本地,然后再
读取
?
浏览 1
提问于2013-04-12
得票数 0
回答已采纳
1
回答
将
文件
直接
从
HDFS
读入shell函数
、
、
、
我有一个
从
map函数内部调用的shell函数。shell函数接受两个参数->,一个输入
文件
和一个输出
文件
。像这样的东西问题是,这些input.txt
文件
驻留在
HDFS
中,而output.txt
文件
需要写回目前,我首先使用fs.copyToLocalFile将所需的
文件
复制到本地硬盘,调用unix二进制
文件
浏览 1
提问于2012-03-02
得票数 0
回答已采纳
2
回答
具有MongoDB概念的Hadoop
、
、
、
我开始学习世界计数程序,通过
读取
存储在
HDFS
中的
文件
并对其进行处理。现在,我想在MongoDB中使用Hadoop。
从
启动程序。现在与我混淆,它将mongodb数据存储在本地
文件
系统上,并将数据
从
本地
文件
系统
读取
到map/reduce中的
HDFS
,然后再次将其写入mongodb本地
文件
系统。当我学习HBase时,我们可以将它配置为将它的数据存储在
HDFS
上,hadoop可以
直接</
浏览 5
提问于2013-02-14
得票数 2
回答已采纳
4
回答
如何在星火中创建空dataFrame
、
、
、
、
我有一套基于Avro的蜂窝表,我需要从它们中
读取
数据。由于Spark使用hive
从
HDFS
读取
数据,因此它比
直接
读取
HDFS
慢得多。因此,我使用数据砖Spark
从
底层
HDFS
dir
读取
Avro
文件
。val schem
浏览 5
提问于2018-05-30
得票数 4
1
回答
如何使用graphLoader将数据
从
hadoop加载到datastax图?(如何使用graphLoader
直接
从
hadoop
读取
文件
)
、
是否必须将
文件
从
hadoop复制到本地目录:为了使用:
浏览 0
提问于2016-07-13
得票数 0
1
回答
在Hadoop中,如果第一个客户端请求读操作,第二个客户端请求写操作,该怎么办?
两个客户端是否能够同时在
文件
中进行读写操作?如果两个客户端都尝试创建具有相同名称的新
文件
,该怎么办?
浏览 13
提问于2018-07-24
得票数 0
1
回答
什么是
HDFS
数据局部性?
、
我有点困惑,数据局部性是指
直接
从
操作系统(使用本地
文件
读取
协议)
从
本地
读取
数据,还是仅从基于
HDFS
协议的本地访问数据?
浏览 1
提问于2018-02-11
得票数 1
1
回答
有没有办法
从
hdfs
读取
mapdb地图?
、
、
我想
直接
从
HDFS
访问mapdb映射,而不将其复制到本地
文件
系统。有可能吗?有没有其他方法可以不使用本地
文件
系统来
读取
这些映射?
浏览 1
提问于2015-12-30
得票数 1
回答已采纳
1
回答
运行示例时出错
、
、
、
spark.sql("LOAD DATA LOCAL INPATH 'examples/src/main/resources/kv1.txt' INTO TABLE src");spark.sql("LOAD DATA LOCAL INPATH '
hdfs
:///tmp/kv1.txt' INTO TABLE src"); 最后一步是在original-s
浏览 2
提问于2017-12-18
得票数 1
回答已采纳
1
回答
将传入消息转换为parquet格式
我知道我可以使用spark
从
nifi
读取
数据,并以parquet格式写入
hdfs
,但是有没有办法
直接
从
apache-nifi以?.Please格式写入
HDFS
? 感谢普拉迪普
浏览 3
提问于2016-05-11
得票数 1
1
回答
如何强制Apache Mahout应用程序
直接
从
HDFS
读取
、
此应用程序以jar
文件
的形式出现,但随后在hadoop伪分布式集群中执行。mia.recommender.ch03.IREvaluatorBooleanPrefIntro2 "/home/eualin/Desktop/links-final“ 现在,我的问题是如何做同样的事情,但这一次是通过从
HDFS
读取
数据集(当然,我们假设数据集已经存储在
HDFS
中,例如在/user/eualin/output/links-final中)。这可能会
浏览 6
提问于2013-02-01
得票数 0
1
回答
从
hdfs
到本地目录
读取
文件
、
、
我有两个疑问${HADOOP_HOME}/bin/hadoop dfs -ls 它只显示当前dir中的所有
文件
。那么,这是否意味着所有
文件
都是在没有我显式添加的情况
浏览 0
提问于2014-02-27
得票数 5
回答已采纳
2
回答
将数据存储在
hdfs
中而不是消息队列中
、
、
我希望
直接
将数据放在
hdfs
中。我不希望数据写入
文件
并转移到
hdfs
。
从
hdfs
开始,我将处理数据并将结果放入
HDFS
。我可以通过Java程序将数据写入
hdfs
,而不是将复制命令交给
HDFS
吗?
浏览 6
提问于2015-07-06
得票数 0
1
回答
从
HDFS
检索作业结果
、
、
直接
从
HDFS
读取
文件
,而不将其复制到本地
文件
系统。不过,我将结果复制到了本地
文件
系统。gutenberg-output bin/hadoop dfs -getmerge /user/hduser/gutenberg-output /tmp/gutenberg-output DEPRECATED:不推荐使用此脚本执行
hdfs
请改用
hdfs
命令。
浏览 16
提问于2020-11-18
得票数 1
2
回答
星星之火:无法
从
HDFS
加载拼板
文件
,直到将它们“放入”
hdfs
中。
、
、
、
、
如果我使用scp将
文件
复制到安装了
HDFS
客户端的目标计算机上,然后"
hdfs
将该
文件
放入“
HDFS
中,那么spark可以正确地
读取
该
文件
。如果我使用curl对webhdf服务
直接
从
客户端应用程序将该
文件
上传到
HDFS
,则在尝试
读取
parquet
文件
时
从
Spark获得以下错误: df = "/usr/hd
浏览 0
提问于2018-12-04
得票数 0
1
回答
团簇(纱线)模式下火花放电的Kerberos问题
、
、
、
这一定是在我的/src/main/scala/graphx_sp.scala
文件
中吗?exception: org.apache.hadoop.security.AccessControlException: Authentication required 我已经检查了keytab上的权限,
读取
权限是正确的
浏览 5
提问于2016-12-05
得票数 3
回答已采纳
6
回答
在
hdfs
hadoop中查看
文件
内容
可能是一个初学者的问题,但是除了复制到本地和通过unix
读取
之外,有没有一种方法可以
读取
hdfs
中的
文件
内容?所以现在我要做的是:我想知道是否可以
直接
将
文件
打开到
hdfs
浏览 0
提问于2013-02-18
得票数 37
回答已采纳
1
回答
从
远程linux服务器向Hadoop
HDFS
传输
文件
、
、
我需要将
文件
从
远程Linux服务器
直接
传输到
HDFS
。我在远程服务器上放置了keytab,在kinit命令激活后,我无法浏览
HDFS
文件
夹。我知道
从
边缘节点我可以
直接
将
文件
复制到
HDFS
,但是我需要跳过边缘节点,
直接
将
文件
传输到
HDFS
。 我们怎样才能做到这一点。
浏览 1
提问于2018-09-26
得票数 0
1
回答
将
文件
指向hadoop集群
、
、
我在服务器上存储了一个
文件
。我希望在运行spark时将
文件
指向Hadoop集群。我所拥有的是,我可以将星火上下文指向hadoop集群,但是由于它指向集群,所以不能在spark中访问数据。
浏览 1
提问于2015-11-25
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
用SOLIDWORKS可以直接读取Creo文件
如何从根源上解决 HDFS 小文件问题
NX-Shell文件管理器放出——直接从Switch管理文件!
爬取图片,从妹子入手。已经打包成exe文件,双击直接爬取
大数据 HDFS 工作原理
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券