腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
将列与多个可能的值匹配
shell
、
unix
、
awk
,it,bfsi,spark,
hadoop
,bigdata,
etl
,pentaho,611,devJohn,bangalore,software,it,bfsi,spark,
hadoop
,bigdata,
etl
,pentaho,823,dev 从现在起,我得到的结果是karthick,bangalore,software,it,bfsi,spa
浏览 0
提问于2018-10-29
得票数 1
回答已采纳
2
回答
CDAP源插件从Sftp服务器读取数据
hadoop
、
cdap
(FileSystem.java:2798) ~[org.apache.
hadoop
.
hadoop
-common-2.8.0.jar:na] at org.apache.
hadoop
.fs.FileSystem.access$200
浏览 4
提问于2019-11-04
得票数 1
3
回答
Hadoop
作为
ETL
工具的替代品,如SSIS、Informatica?
hadoop
、
ssis
、
etl
、
data-warehouse
、
informatica
我非常了解SSIS,Informatica,用于执行
ETL
过程&将数据加载到数据仓库。我们可以用
Hadoop
代替
ETL
工具,比如Informatica用于
ETL
过程吗? 在这里,我基本上是在谈论关系表结构。我知道
hadoop
可以用于从非结构化数据中提取信息。
浏览 7
提问于2014-05-29
得票数 1
2
回答
将数据直接从
Hadoop
/HDFS (本地/本地集群)加载到Redshift & Bigquery
database
、
amazon-web-services
、
google-bigquery
、
google-cloud-sql
、
amazon-redshift
有没有任何方法直接从
Hadoop
/HDFS (本地/本地集群)将数据加载到Redshift & Bigquery。我需要将1TB的数据加载到Redshift & Bigquery。
浏览 1
提问于2014-06-06
得票数 3
回答已采纳
2
回答
宾得
和
哈多普
hadoop
、
pentaho
、
kettle
、
pdi
如果这个问题看起来很幼稚的话,我很抱歉,但是我对数据工程领域还很陌生,因为我现在是一个自学的人,但是我的问题是像宾得
和
Hadoop
这样的
ETL
产品之间有什么区别呢?当我用这个代替那个的时候?
浏览 0
提问于2018-04-25
得票数 2
回答已采纳
1
回答
如何在使用
Hadoop
时解析NoClassDefFoundError?
java
、
hadoop
、
noclassdeffounderror
、
camus
在运行命令时:com.linkedin.camus.
etl
.kafka.CamusJob -P camus.properties351959] Unable to load realm mapping info from SCDynamicStore at com.linkedin.camus.<
浏览 2
提问于2016-04-27
得票数 0
1
回答
hadoop
和
informatica相关吗?
hadoop
、
informatica
我是
hadoop
技术的新手。通过阅读一些博客,我想知道
hadoop
和
informatica是否相关?
浏览 4
提问于2014-11-04
得票数 0
2
回答
基于另一个数组的值的类型记录顺序数组
javascript
、
typescript
假设我有一个基数组我想按照基数组的相同顺序排列第二个数组let object1 = [{Name: "Java", ResourceCount: 3}, {Name: "DotNet", ResourceCount: 4
浏览 7
提问于2019-10-29
得票数 1
回答已采纳
1
回答
使用Kafka将apache服务器日志加载到HDFS
apache-kafka
、
camus
=false#
etl
.counts.path=
etl
.dailyDefaults to deflate
etl
.deflate.level=6 at org.a
浏览 2
提问于2015-11-16
得票数 0
1
回答
从
Hadoop
端查找关系数据库中的数据
hadoop
、
data-warehouse
、
etl
我正在将SSIS解决方案转换为
Hadoop
,以便在数据仓库中进行
ETL
处理。我的预期系统:问题是:在转换阶段,我需要从
hadoop
端(pig或mapreduce作业)在MySQL中查找数据。有两种解决办法:2:查询直接到MySQL。我担心MySQL服务器上会有很多连接。
浏览 1
提问于2013-10-04
得票数 0
回答已采纳
1
回答
FileNotFoundError:[WinError 2]在cmd/Pycharm中运行pyspark时,系统找不到指定的文件
python
、
apache-spark
、
pyspark
当我在cmd
和
pycharm中给pyspark时,我也面临着同样的问题,有没有人能帮我一下?提前谢谢。recent call last): spark = Spa
浏览 20
提问于2020-12-02
得票数 0
1
回答
将Java应用程序迁移到
Hadoop
:架构/设计障碍?
java
、
architecture
、
hadoop
这里有一种情况:我负责构建基于java的
ETL
软件(EAI )的迁移。我必须将其迁移到
Hadoop
( apache版本)。现在,从技术上讲,这更像是重新启动,而不是迁移--因为我没有数据库可供迁移。这是关于利用
Hadoop
的,因此,转换阶段( '
ETL
')是并行的-iz-ed。这会让我的
ETL
软件 更快的转换parallel-iz-ed.Scalable处理更多的数据/大数据意味着增加更多的nodes.Reliable -
Hadoop
的冗余
和</e
浏览 3
提问于2011-06-06
得票数 3
回答已采纳
1
回答
游侠策略不适用于HDFS NFS访问
hdfs
、
hdp
、
apache-ranger
现在,尝试以两个不同的用户身份通过
hadoop
fs <path to the hdfs location>访问HDFS路径:[ml1@HW04 ml1c]$
hadoop
fs -ls <path to the hdfs location> # as an authorized
浏览 0
提问于2019-08-09
得票数 0
回答已采纳
1
回答
在Windows上运行火花单元测试
unit-testing
、
hadoop
、
apache-spark
binaries.at org.apache.
hadoop
.util.Shell.getWinUtilsPath(Shell.java:333)at org.apache.
hadoop
.util.StringUtils.val conf = new SparkC
浏览 1
提问于2014-07-02
得票数 0
回答已采纳
2
回答
使用MySQL将Server数据库映射到MapReduce数据库时获得空指针异常
google-cloud-data-fusion
$ETLMapper.map(ETLMapReduce.java:230) ~[cdap-
etl
-batch-6.0.1.jar:na]at org.apache.
hadoop
.mapred.MapTask.run(MapTask.java:341)[
hadoop
-mapreduce-client-core-2.8.5.jar:na] a
浏览 4
提问于2019-07-11
得票数 0
回答已采纳
1
回答
操作大数据
和
分析大数据之间的混淆,以及
Hadoop
在哪个类别上操作?
hadoop
、
bigdata
有点类似于RDMS中的
ETL
。 分析大数据:我们在回顾中分析数据,并使用MPP
和
MapReduce等技术绘制预测的分支。有点类似于RDMS中的报告。因此,据我所说,
Hadoop
用于分析大数据,我们只是处理数据以进行分析,但不对原始数据进行调整,因此并不是
ETL
的理想选择。但是最近我遇到了这篇文章,它提倡为
ETL
:使用
Hadoop
。
浏览 0
提问于2018-12-31
得票数 0
回答已采纳
4
回答
使用AWS执行按需
ETL
python
、
amazon-web-services
、
etl
、
emr
、
amazon-emr
我想使用AWS架构执行按需
ETL
作业。运行简单的按需
ETL
作业的最佳架构是什么?
浏览 2
提问于2015-10-06
得票数 0
1
回答
如何形成地形湖泊治理表
amazon-web-services
、
terraform
、
aws-lake-formation
只是想得到一个Terraform问题的答案。我感兴趣的是在湖形成中使用受治理的表,并使用Terraform来分配资源。目前是否有可能形成这些地形?文档看起来很稀少。这是当前胶表的。
浏览 7
提问于2022-04-06
得票数 2
回答已采纳
2
回答
黑斑羚壳还是火种给
ETL
?
apache-spark
、
hadoop
、
etl
、
impala
我最近开始研究
Hadoop
环境。我需要做一些基本的
ETL
来填充几个表。目前,我正在使用sqoop将数据导入
Hadoop
,并使用Impala shell命令编写用于转换的SQL查询。在我的情况下,我会有什么好处写我的
ETL
在星火而不是黑斑羚壳? 谢谢S
浏览 2
提问于2019-02-02
得票数 2
回答已采纳
2
回答
Spark能否取代
ETL
工具
amazon-web-services
、
apache-spark
、
etl
、
data-warehouse
、
pyspark-sql
然后使用Informatica、Telend等
ETL
工具对数据仓库/数据仓库的事实表
和
维度表进行增量加载。所有的连接都发生在数据库层(
ETL
将查询推到数据库中)- Spark可以取代
ETL
工具并进行相同的处理并将数据加载到Redshift中吗?-这种架构的优点
和
缺点是什么?
浏览 1
提问于2016-11-26
得票数 10
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Hadoop和Spark的异同
Elasticsearch、MongoDB和Hadoop比较
Hadoop和Spark Shuffle机制对比
什么是ETL
浅谈Spark和Hadoop的优势对比
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券