关于mongoDb的mapReduce功能，我有一个问题。假设目前有一个运行mapReduce将需要很长时间。当用户试图访问mapReduce正在写入的相同集合时，会发生什么？映射是在完成后减少写入所有数据，还是在运行时写入数据？
浏览 2提问于2014-09-16得票数 0
回答已采纳
在本例中，mapreduce处理程序检查它得到的实体，如果它不是活动的，就什么也不做，不写。然而，在大约7个小时后，我的免费数据存储写入配额将从mapreduce调用中耗尽。根据我的粗略估计，它看起来就像只运行mapreduce导致了~ 120写/调用。(粗略计算，60次调用/小时*7小时= 420次调用，50k操作限制/ 420次调用~ 120次写入/调用)
Q1:有人能验证只运行mapreduce触发器~120数据存储写入吗？
浏览 3提问于2012-02-22得票数 4
回答已采纳
我正在尝试使用Mapreduce库在实时应用程序引擎应用程序上执行数据存储模式迁移。
我的映射器使用DatastoreKeyInputReader。由于应用程序是实时的，因此我希望在迁移过程中阻止除映射器的事务性写入之外的所有其他数据存储写入。不幸的是，虽然单个地图操作可以在应用程序中将force_writes设置为True并禁用写入，但我实际上不能启动Mapreduce作业-它会触发CapabilityDisabledError，因为Mapreduce此外，一旦作业结束，它可能会中断，
浏览 0提问于2012-08-13得票数 2
4回答
我试着用mapreduce写一个简单的字数统计程序。我的mapreduce程序只将输出写入文件。但是我不希望我的输出被写在文件中。例如，如果我在hive上提交任何查询，它将返回一个结果集对象，但在内部，我的查询将被转换为mapreduce程序，并在完成作业后返回结果集对象。与其他mapreduce程序不同，它不会将结果写入文件系统。
那么，我如何收集输出，或者如何在reducer或映射器中准备自己对象，并在java程序的其他区域收集该对象？我不希望该输出被写入文件中。
浏览 0提问于2014-04-02得票数 3
因此，当从一个使用HBase的MapReduce作业写入TableOutputFormat时，它多久写一次给HBase。我不认为它会对每一行执行put命令。在使用AutoFlush时，我们如何控制MapReduce并预先写入日志(WAL)？
浏览 7提问于2015-02-10得票数 0
回答已采纳
3回答
Hadoop输出到MongoDb
、、、、
我想编写Java程序，它从HDFS读取输入，使用MapReduce处理输入，并将输出写入MongoDb。
实际上，读取HDFS并使用MapReduce处理它很简单。但是，我不得不将结果写入MongoDb。是否支持Java将结果写入MongoDB？另一个问题是，由于它是Hadoop集群，所以我们不
浏览 3提问于2013-10-21得票数 1
是否有将MapReduce作业的输出导入SQL表的方法？
我想知道我们是否可以将MapReduce作业的输出(MapReduce作业应该负责导出)自动导入到SQL表(MySQL、MySQL等)。
浏览 0提问于2014-06-27得票数 0
回答已采纳
完成后，火花将映射任务(ShuffleMapTask)输出直接写入磁盘。
如果有很多小的中间文件作为输出，那么火花如何处理网络和I/O瓶颈？
浏览 6提问于2016-02-18得票数 8
hadoop - 2.7.3初始化连接时抛出错误。Error: java.io.IOException: com.mysql.jdbc.Driver
at org.apache.hadoop.mapreduce.lib.db.DBOutputFormat.getRecordWriterorg.apache.hadoop.security.UserGroupInformation.doAs(UserGroupIn
浏览 3提问于2017-04-25得票数 1
我想从Oracle和Mysql读取数据。然后我需要比较从Oracle和Mysql读取的数据，输出将存储在MSSQL服务器中。我想在c#中使用MapReduce作业来执行所有这些任务。如果我配置了Hadoop多节点群集，并且正在执行MapReduce作业以从Oracle和MySQL读取数据，则MapReduce读取的数据将跨群集中多个节点的内存分布。
浏览 1提问于2017-11-22得票数 0
我一直在使用MapReduce解析日志文件，但是它总是输出一个名为"part-00000“的文本文件来存储我的结果，然后我必须手动将part--00000导入mysql。是否有一种简单的方法可以直接将MapReduce结果存储在MySQL中?例如，如何将经典的“单词计数”MapReduce程序的结果直接存储在MySQL中？*而不是org.apache.hadoop.mapreduce.*，据我所知，这两个库不兼容)。我不能进入Sqoop。
浏览 0提问于2015-08-17得票数 2
回答已采纳
我目前正在运行一个很长的MapReduce作业，它有一个写入HBase表的TableReducer。我从同一个表中扫描了另一个独立的程序。MapReduce作业已完成，但我在扫描程序的表中看不到任何新行。
由MapReduce作业添加的行是否仅在整个MapReduce作业完成后才可见？
浏览 0提问于2011-12-09得票数 0
回答已采纳
1回答
我正在尝试将MySQL数据导入到HDFS中，但是我得到了一个异常。(MapContextImpl.java:80) at org.apache.sqoop.mapreduce.AutoProgressMapper.run(AutoProgressMapper.java:64:958)
at com.mysql.jdbc.PreparedStatement.executeQuery(Prepare
浏览 3提问于2019-05-09得票数 0
我的MapReduce作业使用MultipleOutputs将文件写入三个单独的目录。我想保持reduce计数不变，只减少写入一个目录的文件。MapReduce是否支持spark coalesce之类的东西？或者多个输出可以在某种程度上帮助我们只写入1
浏览 6提问于2021-07-13得票数 0
我试图将本地csv文件导出到MySQL表"test"：17/04/07 14:22:15 INFO manager.MySQLManager: Preparing to use a MySQL streaming1
17/04/07 14:22:15 INFO
浏览 14提问于2017-04-07得票数 1
回答已采纳
我想知道一些与Mongo DB相关的例子或场景，它们可以通过map-reduce来完成，但不能通过聚合框架来完成？谢谢&致以最良好的问候。
浏览 0提问于2013-02-24得票数 0
回答已采纳
我正在尝试编写一个MapReduce程序，它可以读取输入文件并将输出写入另一个文本文件。为此，我计划使用BufferedReader类。但我真的不知道如何在MapReduce程序中使用它。附言:我对Hadoop和MapReduce编程完全陌生。所以请耐心听我说。
提前谢谢你。
浏览 0提问于2014-10-06得票数 12
回答已采纳
我有一个Hadoop程序，需要将从第一个MapReduce任务生成的单个输出传递给第二个MapReduce任务。我该怎么做呢。
浏览 1提问于2014-02-03得票数 1
我有一个很大的困惑，here.When，我们上传/插入/放置数据在，HADOOP，，众所周知，数据存储在块的大小和复制因子。此外，Moreover只在处理数据时才能工作。
浏览 2提问于2017-04-09得票数 1
回答已采纳
1回答
我的mapreduce作业当前正在将输出(字节数组)作为byteswritable写入文件。现在我需要在java程序中读取这个bytearray。或者，如果我可以在mapreduce作业中以字节数组而不是bytewritable的形式写入输出文件。
浏览 1提问于2018-04-03得票数 0
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号