腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
如果我们使用Hadoop来处理大数据,就会存储数据,因为hadoop数据库
HBase
存储
结构化
数据,而大数据是非
结构化
的。
hadoop
、
hbase
Hadoop用于处理大数据,hadoop使用
HBase
作为其数据库,但BigData可能80%是非
结构化
的,
HBase
只存储
结构化
数据。 非
结构化
数据存储在哪里?或者是否有hadoop工具将非
结构化
数据转换为
结构化
格式?
浏览 0
提问于2018-10-20
得票数 0
回答已采纳
3
回答
Hadoop与
HBase
集成
hadoop
、
hbase
我是大数据技术的新手,我有一个关于
hbase
如何与hadoop集成的问题。"
Hbase
位于HDFS之上“是什么意思?我的理解是,HDFS是分布在多个节点上的
结构化
和非
结构化
数据的集合,而
HBase
是
结构化
数据。 如何将
Hbase
与Hadoop集成,以提供对底层数据的实时访问。换句话说,
Hbase
和hdfs之间是否有一个额外的层,其中包含
HBase
所理解的结构中的数据。
浏览 8
提问于2016-03-27
得票数 1
回答已采纳
3
回答
HBase
有自己的
结构化
数据(在HDFS上)还是可以对HDFS上的非
结构化
数据执行
hadoop
、
hive
、
hbase
我相信HiveQL可以以类似于SQL的方式在
HBase
上运行,而且几乎是实时的。如果是这样的话,我认为有必要将HDFS上的非
结构化
数据转换为
结构化
数据,以便在HQL中运行相对较快的查询。这是否意味着数据以非
结构化
形式以HDFS形式存在,然后以
结构化
形式复制到HDFS上供
HBase
和HQL使用? 此外,HiveQL是否可以以批处理模式(小时)直接运行在HDFS上的非
结构化
数据上。
浏览 1
提问于2015-08-30
得票数 0
1
回答
猪窝
Hbase
的不同之处
hadoop
、
hive
、
hbase
、
apache-pig
我正在尝试弄清楚这些Pig Hive和
Hbase
用于哪种类型的数据(
结构化
、非
结构化
、半
结构化
)? 在哪种情况下使用哪种工具更有效?
浏览 3
提问于2015-01-05
得票数 0
1
回答
如何在Hadoop中建立接收和存储大数据的大数据平台
hadoop
、
hbase
、
bigdata
、
data-warehouse
、
platform
那么,由于我目前使用的是VMware VSphere EXSi Hadoop,什么样的体系结构可以帮助我 Habse XAMPP所有这些都很好,但是我不知道如何接收大量数据和如何存储数据,因为我发现
Hbase
浏览 1
提问于2015-10-05
得票数 0
回答已采纳
1
回答
从REST中获取数据并将其存储在HDFS/
HBase
中
python
、
scala
、
rest
、
hadoop
、
hdfs
我了解到HDFS用于存储更多的
结构化
数据,而
HBase
用于存储非
结构化
数据。我有一个REST,在这里我需要获取数据并将其加载到数据仓库(HDFS/
HBase
)。数据采用JSON格式。HDFS还是
HBase
?另外,你能告诉我一些教程来做这件事。我偶然发现了关于的事情。但我不确定这是否符合我的用例。 如果你能引导我找到解决这个问题的特定资源/技术,那将是很有帮助的。
浏览 1
提问于2017-08-09
得票数 1
回答已采纳
1
回答
如何探索
HBase
数据
solr
、
apache-spark
、
hbase
我目前正在做一个将数据加载到
HBase
中的应用程序,我选择了
HBase
,因为数据不是
结构化
的,因此建议使用基于列的数据库。一旦数据在
HBase
中,我就想将Solr集成到它,但是我发现关于这个主题的信息很少,我的问题"“也没有答案,所以我想问如何查询存储在
HBase
中的数据?火花流似乎不适合这一点。有什么帮助吗?
浏览 0
提问于2016-04-18
得票数 0
回答已采纳
3
回答
HBASE
火花与HDFS火花
hadoop
、
apache-spark
、
hbase
、
hdfs
我知道
HBASE
是一个柱状数据库,它将表的
结构化
数据按列而不是按行存储到HDFS中。我知道Spark可以从HDFS读/写,还有一些用于Spark的
HBASE
连接器现在也可以读写
HBASE
表。问题: 1)在
HBASE
之上分层火花而不是单独使用
HBASE
所带来的附加功能是什么?它只取决于程序员的能力,或者有任何性能原因来这样做?是否有星火所能做的事,而
HBASE
却无法做到?2)源于前面的问题,什么时候应该在HDFS和SPARK之间添加
HBASE
,
浏览 4
提问于2016-08-13
得票数 9
回答已采纳
1
回答
Solr中
结构化
和非
结构化
数据索引
hadoop
、
solr
、
hbase
、
solrj
、
solr4
我们有一个需求,即
结构化
数据和非
结构化
数据都进入系统。我们需要对两者都进行索引,然后启用搜索功能。我们在Hadoop平台上使用SolrCloud。对于
结构化
数据,我们计划将数据放入
HBase
中,而非
结构化
数据则直接放入HDFS中。提前谢谢。
浏览 8
提问于2015-03-29
得票数 0
回答已采纳
2
回答
结构化
和非
结构化
索引- Lucene和
Hbase
lucene
、
indexing
、
hbase
似乎自由文本索引的正确工具是Lucene,而
结构化
稀疏元数据的正确工具是
HBase
。我需要查询数据,并在自由文本搜索结果和
结构化
数据结果之间进行连接(例如,获取文本中包含“早上好”短语并且于1980年首次出版的所有图书)。 我应该使用什么工具/机制来连接
结构化
和非
结构化
查询?
浏览 3
提问于2011-08-01
得票数 5
回答已采纳
1
回答
结构化
流处理多查询?
apache-spark
、
spark-structured-streaming
我使用Spark流来处理在线需求,例如每小时新的用户计数如下:这种方法经常使用表格,花费太大现在我想用
结构化
流来解决这个问题。,因此
结构化
流不支持多重聚合,因此我使用如下方法: 我不知道我的方法能否解决这个问题,
浏览 3
提问于2017-09-08
得票数 0
回答已采纳
1
回答
Hadoop如何减少整个文件
hadoop
、
mapreduce
我玩过不同的条纹地图,减少字数的例子,其中Hadoop/
Hbase
似乎采取了一个大的文件,并打破它(在行中断)在节点之间的平等。然后,它将部分文档的每一行提交到代码的映射部分。我的问题是,当我有很多小的非
结构化
和半
结构化
文档时,如何让Hadoop将整个文档提交给我的地图代码?
浏览 1
提问于2015-04-20
得票数 0
回答已采纳
4
回答
Hbase
与蜂巢的比较
hadoop
、
hive
、
hbase
我试着对
HBASE
有一个清晰的理解。 考虑到他们从事的工作类型,他们不是都一样吗?另外,我们不能在已经存在的HDFS文件上创建
Hbase
表,这是真的吗?
浏览 6
提问于2014-02-18
得票数 1
2
回答
如何导出
hbase
表的ddl
hbase
、
ddl
如何为
hbase
表导出ddl?我想导出ddl并在另一个环境中使用它来重新创建表。谢谢
浏览 1
提问于2018-07-26
得票数 0
4
回答
HBase
vs Hyptertable vs Lucene
hbase
、
hypertable
默认情况下,它不是分布式的,所以我正在考虑迁移到像
HBase
或Hadoop这样的东西。 像
HBase
或Hypertable这样的解决方案有内置的搜索功能吗?或者我需要在它们之上实现Lucene吗?
浏览 0
提问于2011-02-11
得票数 2
1
回答
从另一个DF (或
HBase
)“丰富”Spark DataFrame
scala
、
apache-spark
、
hive
、
hbase
在巨大的
HBase
中,city_id是一个关键: 123;纽约;....124;洛杉矶;....等。我的方法是在
HBase
上创建一个外部配置单元表,其中包含我需要的列。但话又说回来,我不知道如何以最有效的方式加入他们。 我想有一种方法可以直接从
HBase
完成,但我同样不知道如何做到这一点。
浏览 14
提问于2019-12-12
得票数 1
回答已采纳
1
回答
Flume morphline拦截器:用于数据清理
flume
、
morphline
我有一个简单的
结构化
实时输入。但它的值中也有垃圾,比如在某些地方有'@‘或十六进制字符。我这里的水槽将是
hbase
。
浏览 6
提问于2016-03-16
得票数 1
6
回答
HBase
与Hadoop/HDFS的区别
hadoop
、
nosql
、
hbase
、
hdfs
、
difference
因此,如果有人能帮助我清楚地理解
HBase
和Hadoop之间的区别,或者如果有人能给我一些指点,也许能帮助我理解其中的区别。 到目前为止,我做了一些研究和访问。据我所知,Hadoop提供了一个框架来处理HDFS中的原始数据块(文件),而
HBase
是Hadoop之上的数据库引擎,它基本上是处理
结构化
数据而不是原始数据块。
Hbase
在HDFS上提供了一个逻辑层,就像SQL一样。这是正确的吗?
浏览 2
提问于2013-06-05
得票数 140
回答已采纳
1
回答
Hbase
中的数据没有按其应有的结构进行结构-- Twitter Flume
twitter
、
jar
、
hbase
、
flume
、
cloudera-manager
所以我创建了一个HDFS接收器和一个
HBase
接收器,他们正在收集tweet.但是
HBase
中的数据不是很好的结构。 由于数据不是
结构化
的,所以我不能对其进行查询。我现在在
Hbase
上有这样的内容:所有的东西都在专栏推特上.
浏览 2
提问于2014-06-27
得票数 0
回答已采纳
1
回答
结构化
流-使用每条消息
scala
、
apache-spark
、
spark-structured-streaming
通过
结构化
流管道处理每条消息的“推荐”方法是什么(我在spark 2.1.1上,源是Kafka 0.10.2.1)?到目前为止,我正在研究dataframe.mapPartitions (因为我需要连接到
HBase
,因为它的客户端连接类是不可测试的,因此是mapPartitions)。 想法?
浏览 2
提问于2017-05-25
得票数 1
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
结构化、半结构化和非结构化数据
【HBase笔记】从洗袜子到hbase
【HBase大爆炸】HBase之常用Shell命令
带你解密结构化和非结构化
Spark On HBase
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券