1回答
在Hadoop中映射应用程序
、、、、
我用java开发了应用程序的两个部分，我想在hadoop集群中测试它，因为服务器端是一个云的模拟，所以通过使用hadoop，我想给我的应用程序一个真正的云环境感。首先，我创建了一个多节点Hadoop集群，但我不知道下一步该做什么，我希望有任何启发。
浏览 3提问于2013-08-11得票数 0
回答已采纳
我最近从Apache提供的.deb中安装了Hadoop1.0.3。包安装正确，但似乎有两个目录具有与Hadoop相关的文件: /usr/share/hadoop有jars和站点配置文件，而/etc/hadoop有hadoop-env.sh和其他一些XML；我迄今所读的Hadoop文献似乎都假定只有一个Hadoop安装目录；有人能详细说明这两个目录及其各自的用途吗？
浏览 0提问于2012-05-22得票数 1
回答已采纳
有没有办法直接在HDFS中对数据进行重新分区？如果您注意到您的分区不平衡(一个或多个分区比其他分区大得多)，您如何处理它？ 我知道它可以在Apache Spark中完成，但是运行一个作业来重新分区似乎是一种开销-或者这可能是个好主意？
浏览 18提问于2019-05-15得票数 1
1回答
我正在寻找一个本机提供，如任何RDS解决方案，弹性缓存，亚马逊红移，而不是什么东西，我将不得不自己主持。 Kudu provides a combination of fast inserts/updates and efficient columnar layer. As a new complement to HDFS and Apache HBase, Kudu gives architects the
浏览 1提问于2017-10-17得票数 1
2回答
遇到了ALTER串联命令，但这只适用于托管表。当我尝试运行它时，Hive给了我以下错误：
transient_lastDdlTime 1512126635
SerDe Library: org.apache.hadoop.hive.ql.io.orc.
浏览 2提问于2017-12-13得票数 2
我已经成功地安装并使用了Hadoop HDFS和Hive，并且我能够使用Talend获取数据并将数据插入Hive。
浏览 1提问于2014-11-21得票数 0
1回答
所有Apache Hadoop代码都托管在SVN中。Git如何在Hadoop开发过程中提供帮助？这在下面的文章中是不清楚的。
浏览 0提问于2011-09-03得票数 2
回答已采纳
1回答
我们有版本PHD3.0Hadoop集群用于5个节点，使用ambari安装在rackspace上。我们必须迁移到Google。。
浏览 1提问于2016-11-14得票数 0
我正在使用一个托管在Unix机器上的Hadoop集群。我需要将ORC文件从此Hadoop群集传输到Azure BLOB存储。如果我在托管Hadoop集群的Unix机器上安装AzCopy，那么我是否能够在HDFS和Azure之间来回传输文件？ 我在互联网上看到的所有信息都只谈到本地存储到Azure之间的传输。
浏览 21提问于2019-06-27得票数 1
1回答
我在一个项目中工作，我需要处理大约数百万的交易，我正在寻找云计算解决方案，可以帮助我。我是一名C#程序员，所以我想知道Azure是我的最佳选择吗？或任何人有任何建议或一本书/网站开始？
浏览 0提问于2011-04-14得票数 0
回答已采纳
我想从spark shell访问Amazon公共数据集存储库中的commoncrawl文件。这些文件是WARC.GZ格式的。
val filenameList = List("s3://<ID>:<SECRECT>@aws-publicdatasets.s3.amazonaws.com/common-crawl/crawl-data/CC-MAIN-2014-41/segments/1410657102753.15/warc/CC-MAIN-20140914011142-00000-ip-10-196-40-205.us-west-1.compute.inter
浏览 2提问于2014-11-16得票数 3
我们有一个小型Hadoop集群，其中JobTracker被配置为动态的(从一个节点移动到另一个节点)。我们希望通过一个通用的WebUI ()而不是通过命令行来使数据、日志文件和交互更加公开。其实现思想是使hadoop集群中的所有节点的web端口都开放用于出站，并为所有节点创建一个通用的DNS别名，因此对JobTracker节点的引用是恒定的。这是最佳实践吗？我知道有一种使JobTracker成为静态的能力，这将解决这个问题，但可能会引入其他问题--但我确信，通过使节点成为专用节点，它消除了某些hadoop预期的目的和集群节点的能力。
浏览 4提问于2013-11-20得票数 0
2回答
我打算使用Hadoop进行计算，并使用一些NoSql系统(例如Hbase/Cassandra)来存储数据。NoSql系统必须是持久的(我不想丢失数据)。据我所知，我需要派生VM来托管Hadoop和NoSql。但是VM不是持久的。有没有其他方法可以持久地托管数据存储系统(不仅是数据，还有管理数据的系统)并利用Amazon提供的计算？我猜我的场景类似于持久化托管数据库的人。
浏览 2提问于2011-12-05得票数 2
回答已采纳
是否可以在本地安装HDInsight服务器时使用Hadoop SDK，尤其是LINQ to Hive。请注意，我指的不是托管在Azure上的HDInsight服务。我尝试从Azure Nuget包中使用LINQ to Hive，但无法正常工作，因为LINQ to Hive似乎需要将结果存储在Microsoft.Hadoop.Hive Blob Storage中，而不是我的托管实例上var hiveConnection = new HiveConnection(new Uri("http://<
浏览 1提问于2013-07-03得票数 0
回答已采纳
1回答
我的Hadoop多节点集群有3个节点，一个namenode和两个datanodes，我使用hbase存储数据，由于某些原因，我想更改默认的ssh端口号，我知道如何做，但是如果我更改了，我必须在hadoop我看到了，这个链接只是解释了hadoop配置的变化，但我认为Hbase、Zookeper和Yarn的配置也需要更改。我说的对吗？如果是，我需要在hadoop和hbase中做什么改变？Hadoop verison 2.7.1(感谢帮助:)
浏览 6提问于2016-02-05得票数 4
回答已采纳
1回答
在Google云中处理多个对象
、、、、
我正在考虑一个简单的Hadoop或Spark集群来做这件事。我以前在单个实例上使用并发线程来完成此任务，但我需要一种更健壮的方法。实现这一目标的最佳方法是什么？
浏览 1提问于2015-10-06得票数 1
我正在使用Spark进行我的大数据操作，我想将我的Spark数据帧复制到Google Cloud Bigtable。一个Java或Scala的例子会很有帮助。
浏览 1提问于2018-04-17得票数 1
在使用下面的命令从配置单元的托管表中删除分区时，有没有方法跳过垃圾桶？ALTER TABLE <table> DROP PARITION (<partition_name>)
类似于我们使用hadoop fs命令(如hadoop fs -rmr -skipTrash )删除文件时所做的操作
浏览 3提问于2013-04-30得票数 2
回答已采纳
2回答
Hadoop安装中的错误
、、、、
我正试图通过查看Hadoop在fedora机器上安装。(上面提供的链接)中所示的过程，如下所示$ cp conf/*.xml input 然后，我得到了以下错误，我无法理解
sh-4.2$ bin/hadoop jar hadoop-examples-1.0.4.jar gre
浏览 1提问于2012-10-31得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
