腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
8
回答
腾讯云和阿里
云
哪个
好
?
、
、
、
、
两家哪家做的
好
?价格哪家便宜呢?
浏览 11636
提问于2018-12-02
1
回答
Dask是否与
HDFS
通信以优化数据局部性?
、
、
当用户使用诸如dask.dataframe.read_csv('
hdfs
:///path/to/files.*.csv') Dask之类的高级函数到
HDFS
节点时,查找所有数据块的位置,并将该信息发送给调度程序但是,get_block_locations()似乎是从
HDFS
后端删除的,所以我的问题是:对于
HDFS
,Dask的当前状态是什么?它是否将计算发送到数据是本地的节点?是否优化调度程序以考虑
HDFS
上的数据局部性?
浏览 1
提问于2019-02-07
得票数 2
回答已采纳
1
回答
将文件从Google
云
存储加载到本地Hadoop集群
、
、
我已经通过一些网站(,)总结了使用Hadoop谷歌
云
存储连接器进行这种过程,并需要基础设施级别的配置,这不是在所有情况下都可能的。有没有办法使用Python或Java以编程方式将文件从
云
存储直接复制到Hadoop。
浏览 0
提问于2018-06-15
得票数 1
1
回答
将文件从Google
云
存储直接下载到
HDFS
和Hive表
、
、
、
我想知道的是如何将它们直接下载到
HDFS
中(我正在‘ssh’进入)?有人做过这个吗?理想情况下,这是第一部分,第二部分是为谷歌
云
存储数据创建Hive表,这样我们就可以使用HiveQL和Pig了。
浏览 0
提问于2015-12-11
得票数 2
1
回答
NAS与分布式文件系统
、
、
、
、
什么时候我们应该比
HDFS
这样的分布式文件系统更喜欢用例呢?如何决定使用哪一种或任何其他类似的替代方案?
浏览 3
提问于2015-02-09
得票数 1
3
回答
GCP | dataproc |如何创建持久的
HDFS
卷意味着即使你删除了dataproc集群,它也不应该删除
HDFS
?有可能吗?
、
、
、
、
GCP dataproc -当您终止dataproc集群时,
HDFS
会自动删除。如何使其持久化
HDFS
即使您删除了dataproc集群,它也不应该删除
HDFS
?有可能吗?
浏览 7
提问于2021-05-12
得票数 2
2
回答
线程"main“java.lang.ClassNotFoundException:
hdfs
:.
hdfs
.inverted中的异常
、
在执行命令时 hadoop jar /home/edureka/Desktop/invertedindex.jar
hdfs
:/
hdfs
/inverted
hdfs
:/
hdfs
/invertedoutjava.net.URLClassLoader$1.run(URLClassLoader.java:355) at java.security.AccessController.doPrivileged(Native方法中的
hdfs</e
浏览 3
提问于2016-07-21
得票数 0
1
回答
摄入Hadoop中的定期REST调用
、
、
我们计划使用REST调用从端点摄取数据,并将数据存储到
HDFS
。其余的电话是以周期性的方式(每天或每小时)完成的。
浏览 0
提问于2017-03-07
得票数 2
1
回答
在
hdfs
上保存Keras模型
、
、
、
我们公司的
云
服务器只允许我们将文件保存到
hdfs
。是否有方法在
hdfs
上保存Keras模型。我试过model.save,但它不起作用。
浏览 0
提问于2019-10-12
得票数 1
3
回答
Aazon EC2纱线的纺纱
、
、
、
我正在尝试在亚马逊EC2中配置Yarn 2.2.0的whirr。然而,我遇到了一些问题。我已经修改了whirr服务以支持yarn 2.2.0。因此,我能够启动作业并成功地运行它们。然而,我在跟踪工作进展时遇到了n个问题。2014-04-20 21:57:24,544 INFO [main] mapred.ClientServiceDelegate (ClientServiceDelegate.java:getPro
浏览 2
提问于2014-04-20
得票数 1
2
回答
用Hadoop / HDInsight替换SAN?
、
我想探索
HDFS
,以便能够取代昂贵的SAN。你能提供一些关于这方面的信息,或者是关于这方面的好文章吗?
浏览 1
提问于2013-06-27
得票数 0
2
回答
拒绝权限:在AWS集群中使用user=zeppelin解释器时
、
、
、
、
user=zeppelin, access=WRITE, inode="/mnt/tmp/temporary-e0cf0f09-a6f4-44d6-9a72-324660085608/metadata":
hdfs
:190) at org.apache.hadoop.
hdfs
.server.namenode.FSDirectory.checkPermission(FSDirectory.java:1728at org.apache.hadoop.
hdfs
.server.nam
浏览 5
提问于2017-05-28
得票数 8
2
回答
openshif
云
计算配置,在
云
上可以完成吗?
、
、
、
有没有可能用RED的‘PaaS在
云
上构建一个大数据应用程序?我正在研究如何在
云
上构建一个使用Hadoop (
HDFS
),Spark,一个Apache Mahout的Scala应用程序,但我找不到任何关于它的东西。我已经看到了HortonWorks的一些东西,但不清楚如何在openshift环境中安装它,以及如何在
云
too.Is中添加
HDFS
节点使用OpneShift?
浏览 1
提问于2014-09-15
得票数 0
1
回答
具有多个名称节点的远程文件系统上的
hdfs
dfs -ls?
、
如果nnA是主namenode,我可以执行HDFSDFS-Dfs.defaultFS=
hdfs
://nnA -ls /path/to/ nnB,如果nnB是主namenode,则nnB-DFS-Dfs.defaultfs=
hdfs
://nnB -ls /path/to/file 如果我使用的namenode恰好是当时的主命令,这两个命令都可以正常工作。从远程系统中,我无法知道
哪个
namenode是主节点,
哪个
是次要节
浏览 2
提问于2020-02-20
得票数 0
回答已采纳
1
回答
GCP dataproc在哪里存储笔记本实例?
、
、
、
我使用Dataproc创建了一个星火库集群,并将Jupyter Notebook附加到其中。然后,我删除了集群,我以为笔记本已经不见了。但是,在创建了另一个集群(连接到同一个Bucket)之后,我可以看到我的旧笔记本。这是否意味着笔记本(或他们的检查点)存储在我的桶里?或者它们存储在哪里,以及如何确保它们被删除?
浏览 4
提问于2022-02-09
得票数 0
回答已采纳
4
回答
腾讯云和阿里
云
哪个
好
?阿里云和腾讯
云
的区别?
、
、
、
想搞一个学生服务器,听说阿里
云
的限制CPU只能10%。腾讯
云
的怎么样呢?
浏览 24548
提问于2018-12-15
1
回答
S3上的LZO文件问题
、
、
、
、
我在
HDFS
中有3个LZO压缩文件和它们对应的索引文件。
浏览 3
提问于2015-12-04
得票数 0
1
回答
HDFS
分块
、
根据这一理论,当一个文件被复制到
HDFS
文件系统中时,它将被分割为128 MB块。然后将每个块复制到不同的数据节点中,然后复制到数据节点中。问题: 当我将数据文件(~500 MB)从本地文件系统复制到
HDFS
(put命令)时,
HDFS
(-ls命令)中仍然存在整个文件。我本来想看到128 MB的块。我在这里做错什么了?如果假设我设法在
HDFS
中拆分和分发数据文件,是否有一种将原始文件组合并检索回本地文件系统的方法?
浏览 3
提问于2015-05-20
得票数 3
回答已采纳
1
回答
如何将
hdfs
连接到elasticsearch快照?
、
当namenode切换到备用时,我想自动连接到
hdfs
ha,
哪个
uri应该是?PUT _snapshot/my_
hdfs
_repository "type": "
hdfs
", "uri": "
hdfs
://namenode:8020/", "path": "/user
浏览 2
提问于2020-06-26
得票数 0
回答已采纳
2
回答
使用google
云
存储(桶)的hbase
、
、
、
我可以使用gcs文件系统作为hbase在google
云
上的备份存储吗? 我知道有一个google的大表,假设用gcs作为文件系统来建立我们自己的集群将降低成本。同意吗?
浏览 12
提问于2022-05-18
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
外国云服务器哪个好?
实体机与云服务器哪个好
云手机用什么换IP软件好?无极、光子、无忧哪个好?
虚拟主机和云服务器到底哪个好?
广告联盟哪个好?
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券