腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
如何
捕获
有关
HDFS
上
的
文件
的
信息
python
、
hadoop
、
module
、
hdfs
我想要
捕获
HDFS
中每个
文件
的
特定
信息
,例如:名称、创建日期、修改和上次访问。我考虑过使用Python OS模块来做这件事,但我不确定这是否可行,也不确定
如何
做。我认为另一种选择是使用
HDFS
模块本身,但互联网上关于它
的
信息
很少,这使得它变得更加困难。 有人知道我是怎么做到
的
吗?
浏览 44
提问于2021-10-25
得票数 0
回答已采纳
1
回答
如何
在HBase中实现分层存储?
hadoop
、
hbase
、
hdfs
、
archive
、
nosql
我正在尝试获取
有关
在运行在
HDFS
上
的
HBase
上
分层存储
的
实现
的
信息
。我从这个
上
读到了
HDFS
上
的
分层存储。我也经历过这个,但是我仍然对实现有疑问。在
HDFS
上
,基于访问频率,我可以将
文件
从一种存储类型移动到另一种存储类型。但是当HBase在
HDFS
上
存储
文件
时,我
浏览 4
提问于2016-11-02
得票数 0
1
回答
如何
使用汇合
HDFS
源连接器将
文件
更改事件推送到主题上?
apache-kafka
、
hdfs
、
apache-kafka-connect
、
confluent-platform
我们有一个案例,我们希望连接到
HDFS
,并记录一条关于更改
的
Kafka主题
的
消息。本质
上
改变
HDFS
上
的
数据
捕获
。我知道这是一种不寻常
的
情况,在这种情况下,您试图从中
捕获
更改,但不幸
的
是,这使得搜索变得困难。我们无法访问输入
HDFS
的
源,因此更改
HDFS
上
的
数据
捕获
似乎是我们唯一
的</
浏览 2
提问于2020-01-20
得票数 0
2
回答
在hadoop
的
映射阶段写入本地
文件
hadoop
、
mapreduce
Hadoop将中间结果写入本地磁盘,将reducer
的
结果写入
HDFS
。
HDFS
是什么意思。它在物理上翻译成什么?
浏览 1
提问于2012-09-14
得票数 0
回答已采纳
2
回答
HBase
如何
启用对
HDFS
的
随机访问?
hadoop
、
hbase
、
hdfs
考虑到HBase是一个数据库,其
文件
存储在
HDFS
中,那么它
如何
能够随机访问
HDFS
中
的
单个数据呢?这是用哪种方法完成
的
?来自 HBase内部将您
的
数据放在
HDFS
上
存在
的
索引"StoreFiles“中,以便进行高速查找。
有关
HBase
如何
实现其目标的更多
信息
,请参见第5章数据模型和本章
的
其余部分。扫描这两章并没有揭示出这个问题<em
浏览 0
提问于2014-01-21
得票数 12
回答已采纳
1
回答
如何
将Hadoop
文件
系统与OpenCL/GPU代码集成
hadoop
、
mapreduce
、
opencl
、
gpgpu
、
gpu
我
的
疑问是
如何
使用其他语言配置
HDFS
。找不到合适
的
教程来将
HDFS
与opencl/cuda代码相结合。我已经在opencl中为Map和Reduce编写了自己
的
代码。Map和Reduce函数都是GPU
的
内核函数。现在我想在多个节点
上
使用
HDFS
来实现我
的
代码。 请告诉我在HADOOP框架下实现GPU/OpenCL代码
的
教程。提前谢谢你。
浏览 2
提问于2013-03-23
得票数 0
1
回答
使用什么..在
HDFS
上
的
Impala,或者在Hbase
上
的
Impala,或者仅仅是Hbase?
hadoop
、
hbase
、
hdfs
、
impala
任务是使用Hadoop技术实现我们产品
的
一个功能。我必须使用Hadoop而不是传统
的
Db,所以我
的
问题是使用什么?
HDFS
上
的
Impala?或者在Hbase<
浏览 0
提问于2013-07-09
得票数 5
回答已采纳
1
回答
包括hadoop中用C/OpenCL编写
的
map和reduce
mapreduce
、
opencl
、
gpgpu
、
gpu
、
hadoop-streaming
我已经在OpenCL内核中编写了自己
的
map和reduce函数代码。MapReduce
的
通用场景,它基本
上
包含在Hadoop中,而Hadoop本身是用java编写
的
。
如何
在多节点集群
上
的
hadoop中使用我自己用C/OpenCL编写
的
map-reduce代码? 我之前已经问过这种类型
的
问题,但没有得到任何回应。任何教程
的
链接都会很有用。我愿意自己阅读,只是找不到任何与此相关
的
资源。任何形式
浏览 0
提问于2013-05-02
得票数 0
2
回答
如何
在Spark
上
删除拼图
文件
?
python
、
apache-spark
、
parquet
我已经使用DataFrame.saveAsParquet()命令在Spark
上
保存了一个拼图
文件
。
如何
通过python代码删除/移除此
文件
?
浏览 2
提问于2016-06-03
得票数 3
回答已采纳
1
回答
namenode查询
如何
从datanode中阻止
信息
?
hadoop
、
hdfs
我可以通过
hdfs
fsck / -files -blocks查询关于我
的
文件
(存储在
HDFS
中)
如何
存储在块中
的
信息
。据我所知,namenode不存储
有关
每个
文件
块位置
的
信息
,而是从datanodes加载该
信息
。这意味着在技术
上
可能有一条- NameNode FSImage -> DataNodes metadata -> Info ab
浏览 3
提问于2022-02-08
得票数 0
1
回答
Cloudera Impala
的
内存配置
memory
、
hadoop
、
ram
、
impala
我用
的
是黑斑羚,我知道黑斑羚在记忆中处理它
的
过程。我已经搜索了Impala配置选项
的
列表,但是我还没有找到任何关于这方面的详细文档,特别是
有关
内存/堆
的
文档。黑斑羚有这样
的
设置吗?还是依赖于
hdfs
/datanode堆空间?我知道您可以用-mem_limit限制黑斑羚内存
的
使用,但我正在努力更好地理解这是
如何
做到
的
。
浏览 1
提问于2014-07-17
得票数 0
2
回答
HDFS
与单元分区
hadoop
、
hive
、
hdfs
、
cloudera
、
partitioning
当数据被加载到
HDFS
时,它
的
分布并加载到多个节点中。对数据进行分区和分布。 对于单元,有一个单独
的
选项来划分数据。我非常肯定,即使您没有提到分区选项,在加载一个hive表时,数据也会被拆分并分发到集群中
的
不同节点。在这种情况下,这个命令会带来什么额外
的
好处。
浏览 3
提问于2017-07-18
得票数 5
回答已采纳
1
回答
While查询使用配置单元元存储使用apache drill获取错误未知主机异常
apache-drill
、
hive-metastore
我能够显示远程
hdfs
的
数据库,也能够从数据库中看到表结构。但是在查询数据库时,它给出了错误以下是我对apache配置单元
的
配置 "type":myremoteIP:PortofThrift", "fs.default
浏览 0
提问于2018-01-23
得票数 0
4
回答
Hadoop是否为输入
文件
创建多个副本,每个节点一个副本
hadoop
、
hdfs
如果我希望将
文件
从本地目录复制到
HDFS
,是否需要在每个Hadoop节点
上
物理复制该
文件
?或者,如果我使用hadoop dfs命令,Hadoop将在每个节点
上
内部创建此
文件
的
副本?假设每个节点都需要一个
文件
副本,对吗?
浏览 1
提问于2015-09-13
得票数 1
1
回答
多个用户
如何
写入
HDFS
中
的
同一目录
hadoop
、
hdfs
多个用户可以将
文件
写入
HDFS
中
的
同一目录,而不会干扰写入操作吗?
浏览 0
提问于2020-01-27
得票数 1
1
回答
如何
在
hdfs
中检索永久删除
的
文件
hadoop
、
hive
、
hdfs
我不小心删除了
hdfs
中包含
有关
单元(例如元数据等)
信息
的
文件
。当时也没有启用垃圾。
如何
检索tose
文件
?
浏览 1
提问于2014-09-23
得票数 2
回答已采纳
2
回答
如何
在hadoop中上传和下载
文件
?
hadoop
我想在hadoop中上传和下载
文件
。并希望将
文件
存储在服务器或多节点集群中。
浏览 0
提问于2014-03-04
得票数 4
1
回答
如何
从R连接到
HDFS
,并使用箭头读取/写入参数?
r
、
hadoop
、
hdfs
、
pyarrow
、
apache-arrow
我有几个
HDFS
中
的
拼花
文件
,我想把它们读入R中,还有一些R中
的
数据,我想把它们写进
HDFS
中,并以拼花
文件
的
格式存储。我想使用箭头库,因为我相信它是R等价
的
pyarrow和pyarrow是很棒
的
。问题是,在R箭头文档中,我无法找到
有关
使用
HDFS
的
信息
,而且通常也没有多少关于
如何
正确使用库
的
信息
。我基本<em
浏览 7
提问于2022-05-16
得票数 1
1
回答
Hadoop在avro工具
上
的
错误
hadoop
、
avro
我试图使用avro工具连接
HDFS
目录中
的
多个avro
文件
。我遵循
的
方法是问题。我使用
的
命令是hadoop jar /home/myuser/avro-tools-1.7.4.jar concat ${IN} /user/myuser/output/output.avro $IN
的
值为/user/hive/warehouse/somedatabase.db/some
浏览 1
提问于2016-06-03
得票数 0
3
回答
是否可以在Hadoop中保存
文件
而不将其保存在本地
文件
系统中?
python
、
django
、
hadoop
、
hdfs
是否可以在Hadoop中保存
文件
而不将其保存在本地
文件
系统中?我想做一些如下所示
的
事情,但是我想直接在
HDFS
中保存
文件
。目前,我将
文件
保存在documents目录中,然后才能将它们保存在
HDFS
中,例如使用hadoop fs -put。myfile.name, myfile) local_path = 'my/path/documents/' + str(myfile.name)
浏览 0
提问于2018-07-27
得票数 2
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
在shell中如何判断HDFS中的文件目录是否存在
如何修改文件的时间信息?
以太坊的互补品?L2 如何影响 L1 上的价值捕获?
如何免费快速的找回自己丢失的文件信息?
如何用手机快速的整理文件信息?
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券