腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
将列与多个可能的值匹配
、
、
,it,bfsi,spark,
hadoop
,bigdata,
etl
,pentaho,611,devJohn,bangalore,software,it,bfsi,spark,
hadoop
,bigdata,
etl
,pentaho,823,dev 从现在起,我得到的结果是karthick,bangalore,software,it,bfsi,spa
浏览 0
提问于2018-10-29
得票数 1
回答已采纳
2
回答
CDAP源插件从Sftp服务器读取数据
、
(FileSystem.java:2798) ~[org.apache.
hadoop
.
hadoop
-common-2.8.0.jar:na] at org.apache.
hadoop
.fs.FileSystem.access$200
浏览 4
提问于2019-11-04
得票数 1
3
回答
Hadoop
作为
ETL
工具的替代品,如SSIS、Informatica?
、
、
、
、
我非常了解SSIS,Informatica,用于执行
ETL
过程&将数据加载到数据仓库。我们可以用
Hadoop
代替
ETL
工具,比如Informatica用于
ETL
过程吗? 在这里,我基本上是在谈论关系表结构。我知道
hadoop
可以用于从非结构化数据中提取信息。
浏览 7
提问于2014-05-29
得票数 1
2
回答
将数据直接从
Hadoop
/HDFS (本地/本地集群)加载到Redshift & Bigquery
、
、
、
、
有没有任何方法直接从
Hadoop
/HDFS (本地/本地集群)将数据加载到Redshift & Bigquery。我需要将1TB的数据加载到Redshift & Bigquery。
浏览 1
提问于2014-06-06
得票数 3
回答已采纳
2
回答
宾得
和
哈多普
、
、
、
如果这个问题看起来很幼稚的话,我很抱歉,但是我对数据工程领域还很陌生,因为我现在是一个自学的人,但是我的问题是像宾得
和
Hadoop
这样的
ETL
产品之间有什么区别呢?当我用这个代替那个的时候?
浏览 0
提问于2018-04-25
得票数 2
回答已采纳
1
回答
如何在使用
Hadoop
时解析NoClassDefFoundError?
、
、
、
在运行命令时:com.linkedin.camus.
etl
.kafka.CamusJob -P camus.properties351959] Unable to load realm mapping info from SCDynamicStore at com.linkedin.camus.<
浏览 2
提问于2016-04-27
得票数 0
1
回答
hadoop
和
informatica相关吗?
、
我是
hadoop
技术的新手。通过阅读一些博客,我想知道
hadoop
和
informatica是否相关?
浏览 4
提问于2014-11-04
得票数 0
2
回答
基于另一个数组的值的类型记录顺序数组
、
假设我有一个基数组我想按照基数组的相同顺序排列第二个数组let object1 = [{Name: "Java", ResourceCount: 3}, {Name: "DotNet", ResourceCount: 4
浏览 7
提问于2019-10-29
得票数 1
回答已采纳
1
回答
使用Kafka将apache服务器日志加载到HDFS
、
=false#
etl
.counts.path=
etl
.dailyDefaults to deflate
etl
.deflate.level=6 at org.a
浏览 2
提问于2015-11-16
得票数 0
1
回答
从
Hadoop
端查找关系数据库中的数据
、
、
我正在将SSIS解决方案转换为
Hadoop
,以便在数据仓库中进行
ETL
处理。我的预期系统:问题是:在转换阶段,我需要从
hadoop
端(pig或mapreduce作业)在MySQL中查找数据。有两种解决办法:2:查询直接到MySQL。我担心MySQL服务器上会有很多连接。
浏览 1
提问于2013-10-04
得票数 0
回答已采纳
1
回答
FileNotFoundError:[WinError 2]在cmd/Pycharm中运行pyspark时,系统找不到指定的文件
、
、
当我在cmd
和
pycharm中给pyspark时,我也面临着同样的问题,有没有人能帮我一下?提前谢谢。recent call last): spark = Spa
浏览 20
提问于2020-12-02
得票数 0
1
回答
将Java应用程序迁移到
Hadoop
:架构/设计障碍?
、
、
这里有一种情况:我负责构建基于java的
ETL
软件(EAI )的迁移。我必须将其迁移到
Hadoop
( apache版本)。现在,从技术上讲,这更像是重新启动,而不是迁移--因为我没有数据库可供迁移。这是关于利用
Hadoop
的,因此,转换阶段( '
ETL
')是并行的-iz-ed。这会让我的
ETL
软件 更快的转换parallel-iz-ed.Scalable处理更多的数据/大数据意味着增加更多的nodes.Reliable -
Hadoop
的冗余
和</e
浏览 3
提问于2011-06-06
得票数 3
回答已采纳
1
回答
游侠策略不适用于HDFS NFS访问
、
、
现在,尝试以两个不同的用户身份通过
hadoop
fs <path to the hdfs location>访问HDFS路径:[ml1@HW04 ml1c]$
hadoop
fs -ls <path to the hdfs location> # as an authorized
浏览 0
提问于2019-08-09
得票数 0
回答已采纳
1
回答
在Windows上运行火花单元测试
、
、
binaries.at org.apache.
hadoop
.util.Shell.getWinUtilsPath(Shell.java:333)at org.apache.
hadoop
.util.StringUtils.val conf = new SparkC
浏览 1
提问于2014-07-02
得票数 0
回答已采纳
2
回答
使用MySQL将Server数据库映射到MapReduce数据库时获得空指针异常
$ETLMapper.map(ETLMapReduce.java:230) ~[cdap-
etl
-batch-6.0.1.jar:na]at org.apache.
hadoop
.mapred.MapTask.run(MapTask.java:341)[
hadoop
-mapreduce-client-core-2.8.5.jar:na] a
浏览 4
提问于2019-07-11
得票数 0
回答已采纳
1
回答
操作大数据
和
分析大数据之间的混淆,以及
Hadoop
在哪个类别上操作?
、
有点类似于RDMS中的
ETL
。 分析大数据:我们在回顾中分析数据,并使用MPP
和
MapReduce等技术绘制预测的分支。有点类似于RDMS中的报告。因此,据我所说,
Hadoop
用于分析大数据,我们只是处理数据以进行分析,但不对原始数据进行调整,因此并不是
ETL
的理想选择。但是最近我遇到了这篇文章,它提倡为
ETL
:使用
Hadoop
。
浏览 0
提问于2018-12-31
得票数 0
回答已采纳
4
回答
使用AWS执行按需
ETL
、
、
、
、
我想使用AWS架构执行按需
ETL
作业。运行简单的按需
ETL
作业的最佳架构是什么?
浏览 2
提问于2015-10-06
得票数 0
1
回答
如何形成地形湖泊治理表
、
、
只是想得到一个Terraform问题的答案。我感兴趣的是在湖形成中使用受治理的表,并使用Terraform来分配资源。目前是否有可能形成这些地形?文档看起来很稀少。这是当前胶表的。
浏览 7
提问于2022-04-06
得票数 2
回答已采纳
2
回答
黑斑羚壳还是火种给
ETL
?
、
、
、
我最近开始研究
Hadoop
环境。我需要做一些基本的
ETL
来填充几个表。目前,我正在使用sqoop将数据导入
Hadoop
,并使用Impala shell命令编写用于转换的SQL查询。在我的情况下,我会有什么好处写我的
ETL
在星火而不是黑斑羚壳? 谢谢S
浏览 2
提问于2019-02-02
得票数 2
回答已采纳
2
回答
Spark能否取代
ETL
工具
、
、
、
、
然后使用Informatica、Telend等
ETL
工具对数据仓库/数据仓库的事实表
和
维度表进行增量加载。所有的连接都发生在数据库层(
ETL
将查询推到数据库中)- Spark可以取代
ETL
工具并进行相同的处理并将数据加载到Redshift中吗?-这种架构的优点
和
缺点是什么?
浏览 1
提问于2016-11-26
得票数 10
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Hadoop和Spark的异同
Elasticsearch、MongoDB和Hadoop比较
Hadoop和Spark Shuffle机制对比
什么是ETL
浅谈Spark和Hadoop的优势对比
热门
标签
更多标签
云服务器
ICP备案
实时音视频
云直播
对象存储
活动推荐
运营活动
广告
关闭
领券