Flume不会将数据存储到hbase

文章/答案/技术大牛

发布

1回答

hadoop、hbase、cloudera、flume

虽然我能够将Flume数据(来自Kafka)正确地存储在HDFS中，但我没有运气将它们存储在HBase中……平台是Cloudera 5.10.1。hbase1 tier1.sources.source1..type = hbase tier1.sinks.hbase1.table = appl

浏览 17提问于2017-06-25得票数 1

回答已采纳

2回答

集成Kafka和HBase的最佳实践

apache-spark、hbase、apache-kafka、apache-storm、flume

将Kafka中的流数据“导入”到HBase中的最佳实践是什么？使用案例如下:将车辆传感器数据流式传输到Kafka。然后，必须对这些传感器数据进行转换(即，将protobuf反序列化为人类可读的数据)，并将其存储在HBase中。1)您推荐哪个工具集(如Kafka --> Flume --> HBase、Kafka --> Storm --> HBase、Kafka -->

浏览 1提问于2015-08-18得票数 6

5回答

将数据从MySQL迁移到Hadoop的Flume

hadoop、hbase、flume

要求是将Hadoop中的数据迁移到MySQL /HBase进行分析。还有什么是更好的方法。

浏览 2提问于2012-05-11得票数 2

回答已采纳

2回答

hadoop中的分析实现

mongodb、hadoop、nosql

我们每隔15分钟读取日志，对其进行处理并添加到mysql数据库中。然而，如果我能从专家那里得到一些建议，那就太好了。

浏览 0提问于2014-04-12得票数 0

1回答

对hadoop体系结构的改进建议

hadoop、architecture、hortonworks-data-platform

我想构建一个基于Hortonworks的大数据环境，但我不太熟悉所有的伟大工具。许多工具是非常相似的，但关键在于细节。也许你可以帮我验证我的想法，这样我就可以从一个单兵基地开始。我想连接以下数据资源到hadoop：- Twitter流-聊天板-. 他们的想法是使用Flume，hbase</

浏览 1提问于2016-05-20得票数 0

1回答

无法使用apache flume将数据插入hbase

hadoop、hbase、flume

我正在使用flume将日志文件数据插入到hbase table.but中，没有任何插入到表中。sinks.loggerSink.channel = memoryChannelagent1.sinks.sink1.columnFam

浏览 4提问于2013-09-26得票数 0

1回答

Apache和Flume可以互换使用吗？

hadoop、bigdata、sqoop、flume

我对大数据很陌生。从的一些答案中，Flume和Sqoop都可以从源中提取数据并推送到Hadoop。有谁能说明一下在哪里使用水槽和sqoop在哪里？两者都可以用于相同的任务吗？

浏览 6提问于2014-11-27得票数 3

回答已采纳

5回答

实时日志聚合和查询使用什么？

logging、real-time、hbase

我正在寻找工具/数据库/解决方案，这些工具/数据库/解决方案可以帮助我聚合实时日志，也可以实时查询它们。现在我正在考虑HDFS+HBase，这似乎是一个很好的解决方案。还有别的选择吗？你能推荐些什么吗？

浏览 0提问于2011-04-17得票数 5

回答已采纳

1回答

将移动事件数据接收到hdfs

apache-kafka、hdfs、flume

捕获这些事件并将其持久化到hdfs中以供以后分析的最佳方法是什么？

浏览 19提问于2017-07-20得票数 0

1回答

用于处理保存在HDFS中的小型二进制文件的Spark架构

hadoop、apache-spark、hbase、hdfs、apache-kafka

我首先收集消息，因为我需要将代码移动到数据，而不是将数据移动到接收消息的位置。我理解spark将作业分配给已经在本地有文件执行程序。因为我被迫首先收集它们出于上述原因，当我想创建检查点应用程序崩溃时，“因为你试图从广播变量引用SparkContext”，即使代码在添加检查点之前运行(我在那里使用sparkContext，因为我需要将数据保存到我读到HBase是保存小文件的更好的解决方案，而不仅仅是保存在hdfs中。hadoop小文件中的其他问题是为计算而创建的大量映射器和减法器，但我不明白这个问题是否存在于spark中。使

浏览 0提问于2017-01-05得票数 1

2回答

Hadoop Hbase工作流

hadoop、hbase

许多应用程序似乎都是面向批处理的(例如日志文件数据)，但我不确定hbase如何适应这里？将日志文件数据存储在hbase中，然后对其进行处理并将其输出到其他存储格式是否很常见？将原始日志文件传递到hadoop，然后将输出存储在hbase中是不是更常见？我想我真正的问题是hbase通常用作hadoop的输入或输出，还是两者兼而有之？

浏览 0提问于2012-04-06得票数 2

回答已采纳

1回答

如何在Hadoop中建立接收和存储大数据的大数据平台

hadoop、hbase、bigdata、data-warehouse、platform

我试图建立一个大的数据平台，在Hadoop中接收和存储大量的异构数据，如文档、视频、图像、传感器数据等，然后实现分类过程。那么，由于我目前使用的是VMware VSphere EXSi Hadoop，什么样的体系结构可以帮助我 Habse XAMPP所有这些都很好，但是我不知道如何接收大量数据和如何存储数据，因为我发现Hbase是一个面向列的数据库，而不是数据仓库。

浏览 1提问于2015-10-05得票数 0

回答已采纳

2回答

使用菲尼克斯与Cloudera Hbase* (安装自repo)*

hadoop、hbase、cloudera、apache-phoenix

我可以让菲尼克斯开发一个独立的Apache Hbase然而，对于Hbase的Cloudera风格，我从来没有让它正常工作，除非它抛出异常(甚至尝试了RHEL7最小化作为en OS) 对于Hbase 1.0，凤凰4.4也会发生同样的情况。@ip-172-31-60-109 phoenix-4.5.0-HBase-1.0-bin]$ bin/sqlline.py localhost:2181:/hbase

浏览 2提问于2015-08-06得票数 14

回答已采纳

2回答

在性能关键解决方案中使用的方法和数据库

database、performance、nosql、eventual-consistency

我需要查询所有这些数据。就像知道有多少设备在特定区域或IP范围内离线一样。同时运行的查询不会太多。有些查询需要快速运行(每次查询不到3分钟)，同时数据库正在更新。考虑到所有这些，我考虑使用noSQL方法，可能是MongoDB或CouchDB，因为我有使用MapReduce和Javascript的经验，但我不知道哪一个更适合我的问题(我正被CouchDB吸引)，或者它们是否适合处理这种巨大的工作量我甚至不知道我是否真的需要一个“传统”数据库，因为我不需要磁盘的持久性(也许主存方法会更好？)，但我确实需要一种轻松构建自定

浏览 3提问于2013-06-12得票数 0

回答已采纳

1回答

在HBase中查询Twitter文件

arrays、json、twitter、struct、hbase

我已经通过flume成功地将twitter数据下载到包含一个列系列的HBase表中，所有数据都存储在一个列中，如下所示 value={"extended_entities":{"media":[{"display_url现在，我想通过HBase访问结构和数组，就像我们可以在Hive中访问一样。我试过搜索这个问题，但仍然没有线索。请帮帮忙

浏览 3提问于2016-02-08得票数 0

1回答

我们是否可以将Azure HDInsight HBASE* (HDI4.0)指向不同于默认容器的数据湖V2容器*

hbase、azure-hdinsight

是否可以将Azure HDInsight HBASE (HDI4.0)指向数据湖V2上的容器，而不是默认的集群容器，以仅存储HBASE数据，因为我们的一个客户希望他们的数据永久存储在容器上，并且每次创建新的HBASE集群时，他们都会将HBASE指向该容器？

浏览 23提问于2020-01-02得票数 0

2回答

如何在HBase上处理配置单元中的换行符？

java、hbase、apache-hive

我正在将java程序中的数据插入到hbase中。由于我们需要将所有内容转换为字节数组，以便插入到hbase中，因此我这样做了。但是，当我的输入字符串中有任何换行符时，它会将十六进制值存储在hbase中(例如:我试图插入字符串"prasad\r\nchowdary"，但在hbase中它类似于prasad\x0D\x0Achowdary我的问题是，当数据在hbase中像这样时，当我试

浏览 5提问于2015-09-21得票数 0

1回答

Hadoop-Hive-HBase网络分析建议

java、hadoop、analytics、hbase、hive

我工作的团队很幸运，有了管理层，他们认识到需要提高我们的技能和学习新技术。因此，每当我们在主要项目之间有一点休息时间时，我们就会被鼓励利用这段时间来拓展我们的头脑，学习一些新的东西。最近，我们对Map非常好奇，特别是Hadoop和各种支持组件(HBase、HDFS、Pig、Hive等等)。为了了解更多关于它，我们想写一个网络分析服务。我们已经做了一些研究，比如Hive，这听起来非常适合于查询数据存储以获取我们正在寻找的各种指标。但是，这是很高的延迟。我们很幸运能够把它放到一个每月有几百万次点击量的网站上。是否将查询作为预定

浏览 0提问于2012-02-06得票数 2

回答已采纳

2回答

使用flume将数据从mySQL复制到Hbase* :如何？*

mysql、hbase、database-replication、flume

我有一个负载很重的大型mySQL数据库，希望将该数据库中的数据复制到Hbase，以便对其进行分析工作。编辑__：我希望数据能够相对较快地复制，并且没有任何模式更改(没有时间戳行，等等) 我读过这样的文章，可以使用flume，以mySQL作为源，可能是mySQL bin日志，Hbase作为接收器，但没有找到任何细节

浏览 4提问于2013-07-09得票数 2

1回答

是否建议使用Hadoop生态系统并行处理来管理和维护缓慢变化的数据仓库维度？

hadoop、etl、data-warehouse、data-processing

我们有来自操作系统的事务性每小时数据和每日批量加载数据，我们将这些数据工程到MS SQL Server环境中的数据仓库维度(和事实)中。如果推荐，我们可以应用哪些快速有效的技术(Flume，Sqoop，Kafka，HDFS，HBase，Hive，KUDU，Spark，Impla)在Hadoop中实现这一点？假设MS SQL Server数据仓库每小时使用一次这些维度。

浏览 14提问于2019-03-31得票数 0

点击加载更多