腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
3
回答
如何在Amazon EMR上重新启动
HDFS
、
、
我在Amazon EMR群集上对
HDFS
的设置进行了一些更改。我想重新启动namenode和datanode以使更改生效。
浏览 4
提问于2015-08-25
得票数 2
1
回答
Emr 4.2核心节点现货价格
、
、
以下是Amazon对减少核心节点数量的过程的描述: 在核心节点上,为使
实例
组收缩,必须同时解除纱线NodeManager和
HDFS
DataNode守护进程。对于
HDFS
,优雅的收缩确保
HDFS
的目标容量足够大,足以适应所有现有块。如果目标容量不够大,则只退役一部分核心
实例
,以便剩余节点能够处理驻留在
HDFS
中的当前数据。您应该确保更多的
HDFS
容量,以允许进一步的退役。在尝试缩小
实例
组之前,还应该尽量减少写I/O,因为这可能会延迟调整大小
浏览 6
提问于2016-01-14
得票数 0
2
回答
如何将EC2上的特定
实例
挂载分配给
HDFS
、
、
、
我正在尝试使用i2
实例
安装单节点hadoop集群,并希望将800 GB固态硬盘的一个
实例
存储挂载分配给
HDFS
,但不确定如何执行此操作。默认的i2
实例
附带2个800 GB的固态硬盘
实例
存储,我想将其中一个专门用于
HDFS
,另一个用于其他一些工作负载。/dev/xvdb --已将其挂载到/mnt/
hdfs
-我希望确保我所有的
HDFS
数据都存储在此处/dev/xvdc --已将其挂载到/
浏览 7
提问于2016-05-06
得票数 0
1
回答
AWS EMR:主节点是否将
hdfs
数据存储在EMR集群中?
、
主节点-此节点是否将
hdfs
数据存储在aws emr集群中?任务节点-如果此节点不存储
hdfs
数据,它是否纯粹是计算节点?在这种情况下,hadoop会传输到任务节点吗?
浏览 8
提问于2022-03-28
得票数 0
回答已采纳
1
回答
如何从远程python服务连接到专用宿主机集群
、
、
、
、
我有一个在aws上运行的CDH集群。也有一组服务运行在不同的ec2机器上挂钩到ECS集群。所有这些都在一个VPN中。我拥有的用例是将运行在ec2上的外部服务的数据写入到CDH hadoop集群。我正在试着找出最好的方法。请建议我在python中实现这一点的可能方法。
浏览 12
提问于2017-07-07
得票数 1
回答已采纳
1
回答
如何从
hdfs
路径中提取主机信息
、
、
我有一个
hdfs
路径
hdfs
://host1:8899/path/to/file。我想以
编程
方式剥离host1和端口。因此,它应该是
hdfs
:/path/tofile。
浏览 2
提问于2014-08-01
得票数 0
回答已采纳
2
回答
MapReduce是否需要与
HDFS
一起使用?
、
、
、
我希望使用Hadoop MapReduce获得更好的数据处理性能。那么,我是否需要与Hadoop一起使用它呢?或者MapReduce可以与其他类型的分布式数据一起使用?请给我带路..。
浏览 1
提问于2015-01-20
得票数 0
回答已采纳
1
回答
电子病历簇中的映射器分布
、
EMR如何在分发映射器的同时对核心节点和任务节点进行优先排序?这有关系吗?
浏览 2
提问于2016-04-21
得票数 0
回答已采纳
2
回答
如何使用Cygnus将Orion与公共cosmos.lab.fi-ware.org
实例
连接起来
、
、
我正在尝试使用Cygnus将我的Orion数据保存到公共cosmos.lab.fi-ware.org
实例
中。=
hdfs
-channel cygnusagent.sinks.
hdfs
-sink.type = com.telefonica.iot.cygnus.sinks.OrionHDFSSinkcygnusagent.sinks.
hdfs
-sink.
hdfs
_host = cosmos.lab.fi-ware.org cygnusagent.sinks.
hdfs
-sin
浏览 6
提问于2016-03-01
得票数 3
回答已采纳
1
回答
配置单元-复制带有分区的数据库架构,并在另一个配置单元
实例
中重新创建
、
、
、
、
我已经将一个数据库的数据和文件夹结构从一个
HDFS
实例
复制到另一个
HDFS
实例
。 如何对配置单元元数据执行相同的操作?我需要新的
HDFS
实例
的hive使用它们现有的分区来定义这个数据库和它的表,就像它在原始位置一样。当然,它们通常需要随着
hdfs
外部表位置的更新而维护其原始模式。
浏览 16
提问于2019-05-15
得票数 1
回答已采纳
1
回答
将文件从Google云存储加载到本地Hadoop集群
、
、
有没有办法使用Python或Java以
编程
方式将文件从云存储直接复制到Hadoop。
浏览 0
提问于2018-06-15
得票数 1
1
回答
麻省理工学院StarCluster和S3
、
、
、
、
我试图在现场
实例
上运行mapreduce作业。我使用StarClusters及其hadoop插件启动我的
实例
。我没有问题上传数据,然后将其放入
HDFS
,然后将结果从
HDFS
复制回来。(我不想手动将数据从s3下载到
HDFS
,并将结果从
HDFS
推送到s3,在后台有方法吗)? 我使用的是标准的麻省理工学院星团
浏览 2
提问于2015-05-02
得票数 0
回答已采纳
2
回答
在没有EMR的AWS上运行
HDFS
集群
、
、
、
、
我想在AWS上运行
HDFS
集群,在那里我可以使用运行在EC2
实例
上的自定义应用程序来存储需要处理的数据。是在AWS上创建
HDFS
集群的唯一方法。在web上可以使用来使用EC2
实例
创建
HDFS
集群。但是,如果我使用EC2
实例
,则在关闭这些
实例
时可能会丢失数据。 关闭时,数据应保持不变。关闭集群至少节省了VM的成本,而我只在不使用
HDFS
集群时支付了存储费用。我想知道在AWS中是否有
浏览 3
提问于2020-05-04
得票数 1
回答已采纳
1
回答
将文件加载到hadoop中
、
现在,我找到了三种方法: 我漏掉其他工具了吗?
浏览 3
提问于2015-09-02
得票数 1
1
回答
HDFS
+在linux远程计算机上运行
hdfs
命令
、
、
、
、
我们想要执行以下简单的命令 使用ssh登录到$hadoop_machine机器 并以
hdfs
fsck /身份从用户
hdfs
运行
hdfs
cli。因此,我们运行以下命令 ssh $hadoop_machine su
hdfs
-c '
hdfs
fsck /' 但是我们得到了 Usage:
hdfs
[--config confdir] [--loglevelportmap service nfs3 run an
浏览 86
提问于2020-09-14
得票数 0
回答已采纳
1
回答
如何正确执行hadoop -f命令?
、
、
、
我执行了这个命令:我的隐形眼镜档案:
hdfs
://cluster1:8020/user/user1
浏览 2
提问于2015-03-16
得票数 1
回答已采纳
1
回答
如何从python复制pyspark / hadoop中的文件
、
、
、
、
我使用pyspark将数据框保存为拼图文件或csv文件,如下所示: def write_df_as_parquet_file(df, path, mode="overwrite"): dfw = df.write.format("parquet").mode(mode) def write_df_as_csv_file(df, path, mode="overwr
浏览 14
提问于2019-02-05
得票数 1
1
回答
从远程
HDFS
检索文件
、
我的本地计算机没有安装
hdfs
。我想从远程
hdfs
集群检索文件。实现这一目标的最好方法是什么?我是否需要将文件从
hdfs
get到其中一个集群机器fs,然后使用ssh来检索它们?我希望能够通过bash脚本以
编程
方式做到这一点。
浏览 0
提问于2015-12-16
得票数 11
回答已采纳
2
回答
使用Lambda将文件从S3复制到EMR本地
、
、
、
我需要使用Lambda以
编程
方式将文件从S3移动到EMR的本地目录/home/hadoop。 S3DistCp复制到
HDFS
。然后我登录到EMR,在命令行上运行CopyToLocal
hdfs
命令,将文件放到/home/hadoop。 有没有一种在Lambda中使用boto3从S3复制到Emr本地目录的
编程
方法?
浏览 10
提问于2019-06-17
得票数 1
回答已采纳
2
回答
如何设置单元测试的
HDFS
目录时间
、
我正在尝试对一个使用Hadoop的
HDFS
编程
接口的Java程序进行单元测试。我需要创建目录并设置它们的时间,以确保我的程序将在正确的时间“清理”这些目录。有没有办法以
编程
方式设置
HDFS
目录的访问/修改时间?我使用的是Hadoop 0.20.204.0。弗兰克
浏览 2
提问于2012-01-06
得票数 2
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
铣床编程实例-镜像指令编程
Java UDP编程实例
Java并发编程LockSupport使用实例
加工中心宏程序编程实例
UG数控车编程实例讲解
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券