腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(6778)
视频
沙龙
1
回答
在AWS上设置2-3个节点的
hadoop
集群
应该
采用
什么
配置?
、
、
在AWS上设置2-3个节点的
hadoop
集群
应该
采用
什么
配置? 我想在
hadoop
集群
上设置Hive,HBase,Solr,Tomcat,目的是做小的POC。
浏览 0
提问于2016-05-18
得票数 0
1
回答
如何使用spark和ElasticSearch从/写入不同的elasticsearch
集群
?
、
、
、
、
我很高兴地使用了spark和elasticsearch (与elasticsearch-
hadoop
驱动程序)和几个巨大的
集群
。有时,我希望将整个数据
集群
提取出来,处理每个文档,并将它们放到不同的Elasticsearch (ES)
集群
中(是的,数据迁移也是这样)。目前,无法将ES数据从
集群
中读取到RDD中,并使用spark + elasticsearch-
hadoop
将RDD写入另一个RDD中,因为这将涉及从RDD中交换SparkContext。然而,这里出现了一个问题:然后我需要一个
浏览 9
提问于2015-03-12
得票数 6
回答已采纳
1
回答
将LAN上的视频分发到备用位置-浏览器能否检测到这一点?
、
、
、
、
看起来
Hadoop
可以做到这一点,但我想在我承诺学习它之前,我希望从使用它的人那里听到这一点。
浏览 1
提问于2009-08-22
得票数 0
回答已采纳
1
回答
客户通常是否允许在其内部部署
hadoop
群集中使用第三方应用程序
、
我们正在构建一个解决方案来验证从传统关系型数据库迁移到本地
hadoop
的数据,并在执行验证的migration.The脚本比较
hadoop
和本地数据之间的数据后执行数据验证。
浏览 2
提问于2017-10-30
得票数 0
1
回答
Hadoop
集群
架构
我正在尝试定义
Hadoop
集群
的
架构
(大约10/15个节点),主要用于批量处理(指标预聚合)。这个
架构
看起来与您相关吗?是不是少了点
什么
?谢谢你的帮助!
浏览 0
提问于2016-06-13
得票数 0
1
回答
如何通过火花阅读elasticsearch的几个专栏?
、
在es
集群
中,它有大量的数据,我们使用spark来计算数据,但
采用
elasticsearch-
hadoop
的方式,其次是。 我们必须阅读索引的完整列。有
什么
帮助吗?
浏览 7
提问于2017-05-04
得票数 1
回答已采纳
3
回答
hadoop
集群
中的边缘节点
、
有人能给我解释一下
hadoop
中Edge节点的
架构
吗?我只能在互联网上找到定义,我有以下问题- 1)边缘节点必须是
集群
的一部分吗(如果它在
集群
内,我们有
什么
优势?)它是否在hdfs中存储任何数据块。2)边缘节点可以在
集群
外吗?
浏览 5
提问于2013-05-22
得票数 12
4
回答
使用AWS执行按需ETL
、
、
、
、
我想使用AWS
架构
执行按需ETL作业。运行简单的按需ETL作业的最佳
架构
是
什么
?
浏览 2
提问于2015-10-06
得票数 0
1
回答
hdfs快照可用于恢复单元格吗?
、
、
知道hive和hdfs一起使用一个亚稳态,是否可以将运行中的
hadoop
-hive
集群
中的hdfs快照恢复到一个新的
hadoop
-hive
集群
中?
浏览 5
提问于2014-06-18
得票数 1
1
回答
我们可以在一个群集中使用名称节点,而在另一个群集中使用数据节点吗?
、
、
对于
hadoop
2.0,我们是否可以有一个
架构
设置,其中所有名称节点都在一个
集群
中,所有数据节点都在另一个
集群
中?
浏览 2
提问于2016-05-20
得票数 0
1
回答
如何精确地将本地
Hadoop
配置模拟为GCP数据流程
、
、
Dataproc是一种基于GCP的Apache-
Hadoop
。我需要一些关于
集群
配置的术语的明确性。假设我使用本地
Hadoop
集群
配置了1个namenode和n个数据节点。在将本地
Hadoop
基础
架构
迁移到GCP Dataproc时,我们是否有任何需要遵循的标准检查清单?
浏览 13
提问于2019-12-03
得票数 2
回答已采纳
1
回答
Hadoop
在数据放在datanodes之前是否有多个本地临时文件位置?
、
、
我想我了解
Hadoop
架构
和结构的基本知识。在将数据写入datanode之前,我会得到它被缓存在本地临时文件位置中。在namenode为每个namenode指定要存储在哪个datanode之前,是否存储到
集群
中的所有数据(可能来自多个上载)?或者
Hadoop
甚至可以处理来自不同位置的多个同步上传(例如,多台计算机将不同的大文件上传到基于云的
Hadoop
集群
) 请帮助我在任何
浏览 4
提问于2015-01-09
得票数 0
回答已采纳
1
回答
集群
中可能的最大执行器数量
假设我在
集群
中有5工作节点,每个节点都有48 cores和256 GB RAM。
集群
会有5*48 = 240执行器还是只有5个执行器?或者还有其他一些因素将决定
集群
中执行器的数量,那么这些因素是
什么
? 谢谢。
浏览 0
提问于2017-07-07
得票数 1
3
回答
Hadoop
namenode :单点失效
、
、
、
、
Hadoop
架构
中的Namenode是一个单一的失败点。是否有一个业界接受的解决方案工作良好,其中第二个Namenode接管,以防止主要的失败?
浏览 7
提问于2010-12-21
得票数 25
回答已采纳
2
回答
在
Hadoop
之上的Servlet容器?
、
我正处于一个大型项目的
架构
阶段,我决定使用hbase作为我的数据库,并将使用map/reduce作业进行处理,因此我的
架构
完全可以在
hadoop
下工作。问题是我还需要实现一些REST,SOAP API的一些网页,所以我在想有没有在
hadoop
上运行的servlet容器,这样我的系统就可以保持冗余和分布式,而不用担心辅助
集群
机制(因为我已经为
hadoop
那么,有没有运行在
hadoop
之上的servlet容器,就像hbase(一个数据库)运行在
hadoop
浏览 5
提问于2009-12-29
得票数 1
回答已采纳
1
回答
在
Hadoop
上对
集群
节点资源的要求?
、
、
是否建议在
集群
的所有机器上使用相同的资源(CPU和RAM)?
浏览 13
提问于2017-07-19
得票数 0
回答已采纳
2
回答
星火流和星火应用程序可以在同一个纱线
集群
中运行吗?
、
、
、
我正在使用Apache、HDFS和Elastichsearch构建lambda
架构
。在下面的图片中,我想要做的是: 到目前为止,我已经用java为我的星火流和火花应用程序编写了源代码。如图所示,我已经有了
hadoop
集群
。是否有可能在同一个
hadoop
集群
中运行我的星火流和火花应用程序?如果是,是否有任何特定的配置可执行(例如节点数、RAM.)。还是我必须为火花流添加一个
hadoop
集群
?亚瑟尔
浏览 2
提问于2017-01-13
得票数 2
回答已采纳
1
回答
Spark
集群
模式&线程
、
我正在从一个网关启动一个带有--master yarn --deploy-mode cluster选项的spark应用程序(2.1.0),它
采用
yarn
集群
模式。我希望线程是在工作节点上创建的,而不是在网关中创建的,因为
集群
模式是激活的。
集群
模式由日志确认。为
什么
会有数百个线程在网关中被启动? PS:我使用的是运行
Hadoop
2.6.0的加密
集群
。
浏览 15
提问于2017-08-30
得票数 0
1
回答
通用starter
Hadoop
/ Spark fiware-cosmos问题
、
、
我有一些关于固件的一般性问题-宇宙,如果它们是基本的,很抱歉,但我正在努力了解宇宙的
架构
和使用。可以使用哪些
Hadoop
服务源?我想我读到Cosmos支持Cloudera CDH服务和原始
Hadoop
服务器服务?那么HortonWorks或MapR呢?我知道非标准文件系统可以与
Hadoop
一起使用,例如MapR-FS,这样的选项在Cosmos中可能吗?我还读到Cosm
浏览 7
提问于2016-05-27
得票数 1
1
回答
度量收集和分析体系结构
、
、
、
、
什么
样的数据库解决方案适合它?我相信没有RDMS会处理这么多的数据。那么,如何获取度量的平均数据来将其呈现给最终用户呢?AWS具有共享的时间序列数据处理
架构
: 很简单,我是这样想的: 度量标准每24小时存储在一个表中。
浏览 0
提问于2018-11-26
得票数 1
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
大数据入门:HDFS架构演进之路
麒麟990或将采用的达芬奇架构NPU到底是什么?一文带你读懂
如何成为一个大数据开发工程师
后Hadoop世界,大数据如何发展?
量身打造Hadoop HDFS高性能客户端,构筑数据湖理想底座
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券