腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
3
回答
Hadoop
是什么?怎么使用呢?
mapreduce
、
hadoop
听说
Hadoop
是做大
数据
并行
计算
的框架,这种跟“
云
计算
“有什么区别?
浏览 680
提问于2017-09-28
1
回答
用于大型
数据
的Python的替代方案
python
、
pandas
作为Pandas的新手,我会发现有一篇关于Stackoverflow的文章是有用的,在这里我们可以描述和评论不同的替代方案--处理常规
计算
机中无法加载的
数据
(我将在16 of的RAM上划出底线)。2)我看到提到过其他处理大型
数据
集的python库。例如,这个社区中的一些帖子将HDF5和Blazer作为大型
数据
处理的替代方案。这与我想做的事有什么关系?3)为了处理这么
大
的
数据
,建议采取什么途径? 谢谢你我很感激你的帮助
浏览 5
提问于2016-08-10
得票数 2
回答已采纳
1
回答
云
计算
中
Hadoop
的
数据
局部性
hadoop
、
amazon-web-services
、
mapreduce
、
cloud
目前,
Hadoop
通过将任务分配给包含
数据
的节点或接近该节点的节点(例如相同的机架)来实现
数据
局部性。但是,我想知道是否可以将相同的概念应用于部署在一组虚拟机上的
云
计算
中,因为有关物理层的信息,例如哪些物理机器当前承载了这些VM,可能是不可用的。
浏览 5
提问于2014-01-21
得票数 2
回答已采纳
3
回答
如何在家里学习
云
计算
和大
数据
?
learning
、
cloud-computing
、
big-data
我想在家里学习
云
计算
和大
数据
。在
云
计算
中应该学习哪些技术? 学习大
数据
(
Hadoop
)的技术是什么?
浏览 0
提问于2012-07-04
得票数 15
回答已采纳
1
回答
集群:您能调整执行者/节点的数量吗?
apache-spark
、
cluster-computing
、
databricks
、
azure-databricks
蔚蓝
数据
库中每个节点的执行者的数量固定在1? Q2几个文档将每个执行器的5个内核状态作为用于HDFS吞吐量的火花集群的经验规则?对于Azure databricks来说,情况似乎并非如此。
浏览 3
提问于2022-06-10
得票数 1
回答已采纳
2
回答
Openstack与Cloudera的区别
hadoop
、
cluster-computing
、
openstack
、
cloudera
我无法澄清OpenStack和Cloudera之间的区别。你能给我进一步的信息吗?我怎么能两样都用?
浏览 10
提问于2017-05-19
得票数 2
回答已采纳
1
回答
谷歌
云
点击部署
hadoop
hadoop
、
google-cloud-storage
、
google-cloud-platform
、
google-hadoop
为什么google cloud click to deploy
hadoop
工作流程需要选择本地持久磁盘的大小,即使您计划将
hadoop
连接器用于
云
存储?默认大小为500 GB。在google云中使用
hadoop
云
存储连接器时,是否有推荐的持久化磁盘大小?“在Google Cloud平台上部署Apache
Hadoop
Hadoop
将部署在单个
浏览 7
提问于2014-11-23
得票数 0
1
回答
想购买
云
服务做大
数据
计算
及
数据
分析,如何选择满足个人日常学习的配置?
云数据库 SQL Server
想购买
云
服务做大
数据
计算
和分析,如何选择满足个人日常学习的配置?我是小白,从未用过
云
服务,现在需要用到
Hadoop
、Hbase、Mysql、Hive、Spark、zookeeper等,只是学习使用
浏览 137
提问于2018-06-21
1
回答
从Windows访问
Hadoop
云
服务
windows
、
hadoop
、
mapreduce
、
cloud
我是
hadoop
的新手。我正在使用雅虎提供的Linux,因为我不允许在我的机器上安装操作系统。我需要利用
云
服务,并且必须在
hadoop
相关项目上工作。但为了访问它,他们要求,因为我是在基于windows的平台上工作,但我无法解决它。 我也查了。但它也是付费的。我认为
云
访问就像是使用MSTSC的IP连接
云
一样。但事实并非如此。我需要在windows的
云
浏览 4
提问于2013-04-01
得票数 2
6
回答
Google Cloud Dataflow和Google Cloud Dataproc之间的区别是什么?
google-cloud-platform
、
google-cloud-dataflow
、
google-cloud-dataproc
我正在使用Google Data Flow来实现一个ETL
数据
仓库解决方案。而且看起来DataProc比DataFlow便宜一点。
浏览 1
提问于2017-09-27
得票数 66
1
回答
R脚本分布式调度系统
r
、
hadoop
、
parallel-processing
、
distributed-computing
、
scheduled-tasks
我想使用所有这些机器的
计算
能力,并在它们上分发我的R脚本。 我还需要一个调度程序。一种在固定时间或定期安排脚本的工具。脚本可以访问
数据
库、保存文件等,但不返回任何内容。如果有错误/警告,我只想拿回。
浏览 8
提问于2011-12-29
得票数 5
1
回答
配置单元到GCP BigQuery同步
google-cloud-platform
、
google-bigquery
、
google-cloud-dataflow
、
google-cloud-dataproc
我们需要以固定的时间间隔(每小时/每天/任何时间)将
数据
从Hive table (
Hadoop
)移动到GCP (Google Cloud Platform) BigQuery。这里有多个表,
数据
量非常
大
。请告诉我在这种情况下是否可以使用
云
数据
流(CDF)?有其他选择吗? 提前感谢! 问候你,库马尔
浏览 11
提问于2019-01-26
得票数 0
回答已采纳
1
回答
雪花桌存放在哪里?
snowflake-cloud-data-platform
我正在考虑给客户买雪花,但是我不能告诉他们文档在哪里存储
数据
?似乎是s3,但为什么这么昂贵的存储成本?用户的s3或雪花中的
数据
是s3吗?
浏览 2
提问于2020-03-12
得票数 0
回答已采纳
1
回答
在OpenStack之上的
Hadoop
,我得到了哪些额外的特性?
hadoop
、
openstack
、
data-analysis
我想为
数据
分析目的部署一个小型
数据
中心。我将主要从web应用程序中获取
数据
。我知道我可以设置
hadoop
集群并根据需要进行扩展。我还知道,OpenStack是一个免费的、开源的
云
计算
软件平台,主要作为服务基础设施(IaaS)部署。然而,很明显,一些行业更喜欢在OpenStack (撒哈拉沙漠)之上的
hadoop
。因此,我想知道有或没有OpenStack的
Hadoop
的区别、优缺点。 简单地说,如果我将
Hadoop
放在OpenStack
浏览 0
提问于2015-12-18
得票数 0
回答已采纳
2
回答
cpu/内存绑定环境中大图的最佳
数据
结构
java
、
android
、
graph
、
shortest-path
、
android-ndk
我正在从事一个学术项目:编写一个库,在
大
的加权有向图上找到最短的路径。示例
数据
集是一个由1500个顶点组成的图,每个节点平均有5.68个边。我面临几个困难: I需要一种有效的方法来存储、检索和更新图形的
数据
。我应该使用SQLite对象来查询来自Java类的查询、堆上的大型自定义java对象还是什么?任务是CPU密集型的,但它也能频繁地访问内存,所以我不这么认为,但我对contribution.Always开放--记住:资源稀缺,ram不足,磁盘速度慢,cpu很珍贵(按电池
计算
)。
浏览 3
提问于2011-01-16
得票数 1
回答已采纳
1
回答
Hadoop
可以像Dropbox或Google一样使用吗?
hadoop
、
cloud
、
dropbox
、
file-storage
、
cloud-storage
我正在研究
Hadoop
和
云
存储。所以很奇怪,
Hadoop
能像Dropbox或者Google一样使用吗?
浏览 2
提问于2017-05-02
得票数 1
回答已采纳
1
回答
Hadoop
,火花和
云
machine-learning
、
data-mining
、
apache-spark
、
apache-hadoop
、
cloud
看起来
Hadoop
、Spark和不同版本的Clouds提供了存储和分析大
数据
的工具。有一些文章比较
Hadoop
和Spark (例如,这篇文章)。还有一些文章讨论了AWS上用于使用
Hadoop
/spark的服务,例如这篇文章。 我的问题是,如果我使用的是提供存储和分析服务的
云
计算
,我还需要
hadoop
/spark吗?
浏览 0
提问于2023-04-16
得票数 0
4
回答
基于性能的
云
计算
与网格
计算
的比较
grid
、
cloud
、
grid-computing
云
计算
和网格
计算
在性能上有何不同。比方说..我有一个本地网格和一个
云
服务..如果性能是我唯一的标准,哪一个会更好!我经历了许多关于
云
计算
和网格
计算
的差异,但在性能问题上没有发现任何显着的差异。附言:我对
云
计算
还是个新手
浏览 4
提问于2013-01-15
得票数 1
回答已采纳
1
回答
对于
Hadoop
,选择哪种
数据
存储,亚马逊S3还是Azure Blob Store?
azure
、
hadoop
、
amazon-web-services
、
emr
我正在从事一个
Hadoop
项目,并在我的本地集群中生成大量
数据
。不久之后,我将使用基于
云
的
Hadoop
解决方案,因为与实际工作负载相比,我的
Hadoop
集群非常小,但是到目前为止,我还没有选择我将使用哪一个,即基于Windows Azure、EMR或其他什么。我在本地生成了大量
数据
,并希望将这些
数据
存储到一些基于
云
的存储中,因为我稍后将在
Hadoop
中使用这些
数据
,但很快就会使用这些
数据
。 我正在寻
浏览 0
提问于2012-05-08
得票数 2
回答已采纳
1
回答
Hadoop
在
数据
放在datanodes之前是否有多个本地临时文件位置?
hadoop
、
configuration
、
hadoop2
我想我了解
Hadoop
架构和结构的基本知识。在将
数据
写入datanode之前,我会得到它被缓存在本地临时文件位置中。在namenode为每个namenode指定要存储在哪个datanode之前,是否存储到集群中的所有
数据
(可能来自多个上载)?或者
Hadoop
甚至可以处理来自不同位置的多个同步上传(例如,多台
计算
机将不同的大文件上传到基于
云
的
Hadoop
集群
浏览 4
提问于2015-01-09
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Hadoop技术的过去与未来:成于大数据,败于云计算
Hadoop迎来3.x时代昔日大数据霸主如何应对云计算的挑战
云计算三大特性保障数据安全
《工业4.0大革命》:大数据、云计算
云呐|hadoop数据备份多少份提高数据的安全性
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券