1回答
HDFS存储结构化和非结构化的data.HIVE & IMPALA使我们能够编写sql查询，然后将这些查询转换为MapReduce。用户如何知道存储数据的模式，或者这些表是如何从存储在HDFS中的数据形成的？
浏览 16提问于2017-12-18得票数 1
我们目前正在为我们的一个“大规模数据”产品使用MongoDB。简单来说，我们使用Mongo来存储大量的社交媒体数据，比如tweet/post/hashtag等等。因此，使用案例是社交媒体分析。到目前为止，我们使用MongoDB面临的唯一问题是全文搜索能力和聚合性能。
文档的数量将在2500万左右，我们将在单个实例上使用此数量。此外，我们的大多数分析都是在整个集合上进行的(我们通常没有太多过滤器来减少分析数据集)。最近，我们开始关注Elastic Se
浏览 0提问于2016-07-26得票数 2
1回答
我们正在构建一个M2M IoT平台，生态系统的一部分是大数据存储和分析组件。在我看来，Spring XD似乎能够协调这一过程，从摄取、过滤、处理、分析到导出到Hadoop。
浏览 1提问于2014-05-02得票数 0
3回答
我使用Hadoop2.0.4并从事twitter情绪分析。我曾经用水槽摄取数据，但现在twitter数据必须存储在蜂巢表中。
我已经创建了一个表，但是行格式SERDE出现了错误。
浏览 5提问于2015-07-24得票数 2
2回答
Bigdata用例
、、、
目前数据是在SQLServer中处理的，而前端则是在MVC中。由于使用SQLServer本身进行分析的数据流非常高，因此决定使用BigData。我选择了Cloudera Manager CDH，SQOOP将数据从SQLServer导入到配置单元，并使用IMPALA运行分析。
浏览 4提问于2015-11-21得票数 0
2回答
我想尝试apache flink、hadoop和solr来进行非侵入性的日志摄取，以便对它们进行处理和索引，并进行一些分析和查询。我在考虑使用flink对几个应用程序的应用程序日志进行数据处理，然后将它们放到hadoop上，然后使用solr对它们进行查询。问题是:这真的是非侵入性的吗？Flink的行为类似于flume，在我喜欢监视的服务器中安装和配置代理。hadoop和solr是不是一个很好的组合，
浏览 21提问于2019-04-11得票数 0
1回答
我有psudeo分布式hadoop环境，并使用sqoop和hive进行数据导入和分析。我使用sqoop将数据从mysql导入到蜂箱中，它起作用了，我在我的蜂巢位置(也就是/user/hive/warehouse/ )获得了数据，我可以在hive表中看到数据。我的怀疑是：
当我从mysql导入到hive(构建在hadoop之上)时，hadoop中存储的数据会
浏览 5提问于2017-01-11得票数 0
我们正在尝试将Elasticsearch应用到我们的大数据环境中。目前我们运行的是Apache Hadoop 2.7，包括Hive和Spark。在Hadoop中以Parquest格式存储数据。当我们在我们的环境中实施ELK时，我们只能将数据存储到Hadoop HDFS中吗？或者，我们必须从Hadoop中提取数据并导入到Elasticsearch中，以便创建索引，但我们在系统中有重复的数据集(Hadoop</e
浏览 0提问于2020-06-14得票数 1
4回答
Flume和Sqoop都是用于数据移动的，那么它们之间的区别是什么呢？在什么情况下应该使用Flume或Sqoop？
浏览 133提问于2013-10-22得票数 22
回答已采纳
1回答
为静态时间序列数据选择存储层
、、、、
总的来说，我是大数据技术堆栈的新手。我正在实施一个实时分析基础设施，它将从我们的微服务后端的不同服务中摄取高容量/高速度的数据。摄取的数据(和数据流)将用于填充关键业务指标的仪表板，以及用于BI查询和机器学习。现在，我正在研究在哪里存储静态数据</em
浏览 0提问于2016-06-09得票数 2
我想做一个项目，我在蜂巢中流式传输一些推文来分析它们，所有这些过程都必须在HDF/NiFi中完成。该项目必须是可伸缩的。我在Cloudera网站上看到，人们采用了两种不同的流程策略师。1.)获取推文->将它们放入HDFS ->使用配置单元分析所以
浏览 4提问于2020-03-06得票数 0
2回答
跨各种属性聚合的最佳技术栈
、、、、
流数据被输入到流中的系统。我们正在考虑打破时间桶(例如5分钟)中的流数据，并根据不同的属性预计算各种聚合，并将聚合存储在DynamoDB中以服务查询。关于这一点，我们正在评估以下备选方案：
如果有人使用过类似的用例或使用过上述任何技术，请让我知道哪种方法最适合我们的用例。
浏览 4提问于2013-03-13得票数 0
回答已采纳
2回答
Hadoop数据摄取
、、、
我有以下要求：对于这个问题语句，我们计划有一个数据库轮询器来轮询键条目。在读取该条目之后，我们需要从Oracle表中摄取数据。对于这种摄取目的，哪种工具是最好的？此外，我们还需
浏览 0提问于2016-11-17得票数 2
我需要在Azure数据资源管理器中查询我的Log Analytics工作区，但我对此一无所知。
以下是我的疑问? 1.在使用数据之前，我是否需要从日志分析向Azure数据资源管理器注入数据?2.我找不到任何方法将日志分析连接到Azure数据资源管理器? 3.我看到在Azure数据资源管理器中注入数据的唯一选项是通过事件中心。但现在我的问题是，我如何使用事件中心将日志分析数据摄取到A
浏览 1提问于2018-11-22得票数 0
我不能找出，如何抓取网站和索引数据到elasticsearch。我设法在组合nutch+solr中做到了这一点，并且由于nutch应该能够从1.8版导出数据直接到elasticsearch ()，所以我再次尝试使用nutch。然而，我并没有成功。
浏览 0提问于2014-11-26得票数 2
回答已采纳
1回答
我试着和Kafka合作来摄取数据，但是我对此还不熟悉，我有点困惑，我有多个爬虫，他们从web平台上为我提取数据。现在的问题是，我想摄取使用Kafka将数据提取到Hadoop而没有任何中间脚本/服务文件的内容。有可能吗？
浏览 0提问于2018-08-16得票数 1
回答已采纳
1回答
我正在尝试在Hadoop中为日志聚合做一个POC。我们有多个IIS服务器托管至少100个站点。我想要连续地将日志流式传输到HDFS，并解析数据并存储在Hive中以供进一步分析。1) Apache KAFKA或Apache Flume是正确的选择请提供任何建议，以及此类问题陈述的任何信息。
谢谢
浏览 1提问于2016-11-10得票数 0
1回答
德鲁伊镶木地板摄取性能差
、、、、
当使用镶木地板数据时，德鲁伊摄取缓慢有什么原因吗？我们观察到，当JSON数据被摄取时，摄取速度至少要快2倍。一般来说，哪一个更好？在Druid Hadoop批处理摄取的上下文中使用JSON或Parquet。
浏览 15提问于2019-02-08得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
