腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(6052)
视频
沙龙
1
回答
如何将
50
it
的
RDBMS
数据
迁
移到
hadoop
中
并
进行
处理
?
使用
hadoop
处理
50
by
数据
的
最低
硬件
要求
是什么
?
hadoop
、
hdfs
如何将
50
it
的
RDBMS
数据
迁
移到
hadoop
中
并
进行
处理
?
使用
hadoop
处理
50
by
数据
的
最低
硬件
要求
是什么
?
浏览 16
提问于2019-06-25
得票数 0
回答已采纳
4
回答
Hadoop
与
RDBMS
的
比较
hadoop
、
rdbms
、
nosql
我真的不明白
hadoop
扩展背后
的
实际原因比
RDBMS
更好。有人能解释一下颗粒水平吗?这与底层
数据
结构和算法有关吗?
浏览 0
提问于2015-09-12
得票数 3
回答已采纳
2
回答
处理
数据
仓库
中
的
大
数据
hadoop
、
bigdata
、
data-warehouse
、
datamart
我是一个学习大
数据
的
概念。基于我
的
理解,大
数据
是
处理
非结构化
数据
和高volume.When
的
关键,我们研究了
数据
仓库( datawarehouse,DW )
的
大
数据
体系结构,从源
数据
通过
Hadoop
(HDFS和Mapreduce)提取
数据
,并将相关
的
非结构化信息转换为有效
的
业务信息,最后通过ETL
处理
(以及现
浏览 3
提问于2015-04-28
得票数 5
回答已采纳
1
回答
是否在HDFS集群上重新分配
数据
?
apache-spark
、
hadoop
、
hdfs
我正在阅读
Hadoop
和Spark文档,以了解spark如何在
Hadoop
集群上工作。根据
Hadoop
文档,
Hadoop
集群是一组具有计算和
数据
存储能力
的
通用
硬件
,它们还假定“移动计算比移动
数据
便宜”。 现在,当我
处理
一个大文件,它是存储在HDFS上
使用
火花。Spark是否会随机地将文件
中
的
数据
重新分发到
Hadoop
集群,或者它知道存储
数
浏览 11
提问于2022-09-13
得票数 1
回答已采纳
3
回答
为什么要
使用
Hadoop
?
java
、
hadoop
我对
Hadoop
的
用法并不感到困惑。我不知道何时何地
使用
Hadoop
。
Hadoop
是一个开放源码
的
框架,它允许
使用
简单
的
编程模型在分布式环境
中
存储和
处理
大型
数据
。根据定义,这项工作还由Oracle、MSSQL等其他
数据
库完成,即跨集群存储和
处理
数据
。那么
使用
Hadoop
还有什么优点呢?
浏览 3
提问于2015-08-12
得票数 1
回答已采纳
3
回答
从SQL到BigData
的
迁移?
sql
、
c#-4.0
、
hadoop
、
hive
在我们正在运行
的
项目中,
使用
带有C#和MS SQL3.5
的
SQL3.5,目前其
数据
库大小为4TB。它将增加渐变,所以我们正在寻找解决方案。一些人告诉我关于BigData (
使用
Hive +
Hadoop
)。所以任何一个1都能解释我该怎么做?我应该将MSSQL迁
移到
Hadoop
吗?请告诉我切换到
hadoop
的
硬件
和软件
要求
?是否可以将我们当前
的
数据
浏览 4
提问于2013-06-10
得票数 2
回答已采纳
4
回答
用于
数据
来源
的
Sqoop与Informatica大
数据
版本
hadoop
、
hive
、
sqoop
、
informatica-powercenter
我可以选择
使用
Sqoop或Informatica版本将
数据
来源到HDFS
中
。源系统是Tearadata,Oracle。Informatica是组织中
使用
的
ETL工具。 问候桑吉布
浏览 2
提问于2015-07-01
得票数 0
回答已采纳
2
回答
hadoop
中
的
分析实现
mongodb
、
hadoop
、
nosql
目前,我们已经有了基于mysql
的
分析。我们每隔15分钟读取日志,对其
进行
处理
并
添加到mysql
数据
库
中
。随着我们
的
数据
不断增长(在一种情况下,到目前为止增加了900万行&每月增加
50
万行),我们计划将分析转
移到
无sql
数据
库。根据我
的
研究,
Hadoop
似乎更适合我们
处理
日志&它可以
处理
非常大
的
浏览 0
提问于2014-04-12
得票数 0
1
回答
如何
使用
hive表中分区
的
数据
从RC文件创建RDD
scala
、
apache-spark-sql
、
spark-dataframe
、
scala-collections
),emp_dept varchar(
50
)PARTITIONED BY (emp_dept_idSTORED AS INPUTFORMAT 'org.apache.
hadoop
.hive.ql.io.RCFileInputFormat'OUTPUTFORMAT 'org.apache.
hadoop
.hive.ql.io.RCFileOutputFormat';
浏览 0
提问于2016-11-02
得票数 1
2
回答
宾得和哈多普
hadoop
、
pentaho
、
kettle
、
pdi
如果这个问题看起来很幼稚的话,我很抱歉,但是我对
数据
工程领域还很陌生,因为我现在是一个自学的人,但是我
的
问题是像宾得和
Hadoop
这样
的
ETL产品之间有什么区别呢?当我用这个代替那个
的
时候?
浏览 0
提问于2018-04-25
得票数 2
回答已采纳
3
回答
Hadoop
作为ETL工具
的
替代品,如SSIS、Informatica?
hadoop
、
ssis
、
etl
、
data-warehouse
、
informatica
我非常了解SSIS,Informatica,用于执行ETL过程&将
数据
加载到
数据
仓库。我们可以用
Hadoop
代替ETL工具,比如Informatica用于ETL过程吗? 在这里,我基本上是在谈论关系表结构。我知道
hadoop
可以用于从非结构化
数据
中提取信息。
浏览 7
提问于2014-05-29
得票数 1
1
回答
类似于SQL表
的
循环调度,用于跟踪最近
的
活动
sql
我们需要跟踪不同时间段
的
用户活动,如24小时,7天等。我们预计不会有很大数量
的
不同时期,但用户数量将非常大,可能在数百万。每晚cronjob汇总每个用户
的
统计
数据
听起来并不合理。我知道过去我曾用RRD表这样跟踪网络
使用
情况,但这些只是BerkeleyDB
的
,而且每个统计
数据
必须有一个文件,这是行不通
的
,但这个想法似乎是我想要
的
。有没有我忽略
的
模式/最佳实践?
浏览 1
提问于2011-12-31
得票数 2
回答已采纳
3
回答
Hadoop
与
数据
库
的
关系
hadoop
、
nosql
、
rdbms
好
的
.我已经尝试在网络和这个网站上搜索这个问题
的
答案,这似乎是一个非常基本
的
问题。我完全是大
数据
处理
的
新手。 我想知道HDFS和
数据
库之间
的
关系。是否总是有必要
使用
HDFS,
数据
必须是某种NoSQL格式?是否有在
使用
HDFS时始终附加
的
特定
数据
库?我知道cloudera提供
Hadoop
解决方案,他们
使用
HBase。我可以
浏览 0
提问于2013-07-04
得票数 8
回答已采纳
1
回答
基于树莓Pi
的
Hadoop
簇
hadoop
至少有可能从基于Raspberry Pi
的
节点构建
Hadoop
集群吗?这样
的
集群能满足
Hadoop
的
硬件
需求吗?如果是这样的话,需要多少树莓Pi节点才能满足需求?据我所知,一个由几个树莓Pi节点组成
的
集群是不强大
的
。我
的
目的是组织集群,而不可能从我
的
桌面或笔记本
中
丢失个人
数据
,
并
使用
这个集群学习
Hadoop
。如果您能提出更好<e
浏览 0
提问于2012-07-08
得票数 2
回答已采纳
3
回答
Amazon Elastic Map Reduce是否在每个实例上运行一个或多个映射器进程?
hadoop
、
amazon-web-services
、
mapreduce
、
elastic-map-reduce
、
hadoop-streaming
我
的
问题是:我应该自己关心映射器
中
的
多
处理
(从stdin读取任务,然后将它们分布在工作进程
中
,将结果组合到主进程
中
并
输出到stdout),还是
Hadoop
会自动
处理
它?我还没有在
Hadoop
流媒体文档和Amazon Elastic MapReduce常见问题解答中找到答案。
浏览 0
提问于2012-02-03
得票数 1
回答已采纳
1
回答
对于
Hadoop
,选择哪种
数据
存储,亚马逊S3还是Azure Blob Store?
azure
、
hadoop
、
amazon-web-services
、
emr
我正在从事一个
Hadoop
项目,并在我
的
本地集群中生成大量
数据
。不久之后,我将
使用
基于云
的
Hadoop
解决方案,因为与实际工作负载相比,我
的
Hadoop
集群非常小,但是到目前为止,我还没有选择我将
使用
哪一个,即基于Windows Azure、EMR或其他什么。我在本地生成了大量
数据
,
并
希望将这些
数据
存储到一些基于云
的
存储
中
,因为我稍后将在
浏览 0
提问于2012-05-08
得票数 2
回答已采纳
2
回答
Hadoop
与关系
数据
库
mysql
、
hadoop
、
hbase
、
hive
我是
Hadoop
的
新手,我想了解
Hadoop
在场景
中
的
工作。提前谢谢。
浏览 4
提问于2013-10-01
得票数 3
回答已采纳
2
回答
hadoop
如何帮助用户跟踪
数据
?
logging
、
hadoop
、
mapreduce
我想知道
hadoop
如何帮助用户
数据
跟踪。例如,我有一个电子商务应用程序,我希望记录客户执行
的
每一个活动,例如查看项、添加到购物车或购买项目。是否有
使用
hadoop
记录事件
的
示例或最佳实践。我之所以想
使用
hadoop
,是因为它
的
高可用性和可伸缩性,而且记录
的
数据
也将从GBs增长到TBs。还是我错了?因为日志记录应该独立于
hadoop
,以后对日志
数据
的</e
浏览 3
提问于2014-04-11
得票数 1
回答已采纳
4
回答
hadoop
与teradata有什么区别
database
、
hadoop
、
teradata
、
business-intelligence
我从来没有接触过
hadoop
,但从昨天开始,我正在做一些研究。通过对两者
的
描述,它们似乎是可以互换
的
,但在一些论文中,它们被写成用于不同
的
目的。但我发现
的
都是模糊
的
。我很困惑。有没有人同时
使用
过这两种方法?它们之间
的
严重区别
是什么
? 简单
的
例子:我想构建ETL,它将转换数十亿行
的
原始
数据
,并将它们组织成DWH。然后对它们
进行
一些资源开销分析。为什么
使用</
浏览 0
提问于2013-01-31
得票数 10
2
回答
用于大型图像
处理
的
Hadoop
hadoop
、
apache-spark
、
mapr
、
bigdata
我有一组
50
to
的
~1GB tiff图像,我需要在这些图像上运行相同
的
算法。目前,我有C++编写
的
纠正过程,它工作良好,但它将永远运行在所有这些图像连续运行。我知道MapReduce/Spark
的
实现可以工作,但我似乎不知道如何
使用
图像输入/输出。 我看到
的
每个教程/示例都
使用
纯文本。理论上,我也想利用Amazon服务。如果有人对我有指导的话,那就太好了。我显然不是在寻找一个完整
的
解决方案,但也许有人已
浏览 0
提问于2016-06-23
得票数 4
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
这个实时大数据平台支持存储过程了
技术解读:Hadoop、PostgreSQL与Storm 正面比拼报告!
你也能看懂Hadoop——Hbase
大数据Hadoop生态系统介绍
Oracle与Hadoop对比:强一致性和高性能不可兼得!
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
云直播
实时音视频
活动推荐
运营活动
广告
关闭
领券