腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
我可以使用
mysql
数据库作为apache的目标存储吗?
、
我是Apache的新手,请告诉我apache中是否提供了用于在
mysql
数据库上编写数据的配置。
浏览 9
提问于2022-08-02
得票数 0
2
回答
覆盖
hdfs
目录Sqoop导入
在Sqoop导入时,是否可以自动覆盖
HDFS
目录,而不是每次手动覆盖?(我们是否有像"--overwrite“这样的选项,就像我们为hive import提供的"--hive-overwrite")
浏览 9
提问于2016-10-19
得票数 7
回答已采纳
2
回答
Apache Gora与
mysql
applier和sqoop
我想将
mysql
与hadoop中的一个项目集成起来。我搜索了很多不同的方法,有两种方法:实时使用
mysql
applier for hadoop和为非实时使用使用"apache“。gora和
mysql
应用程序或sqoop有什么区别? 对于hadoop和
mysql
的集成,是否需要任何nosql作为接口?
浏览 4
提问于2014-04-30
得票数 0
回答已采纳
3
回答
Hadoop是否从其连接的数据源复制数据?
、
、
、
当Hadoop连接到MangoDB或
MySQL
等数据源时,它是将数据从这些源复制到Hadoop文件系统中,还是简单地处理远程数据?
浏览 6
提问于2015-01-27
得票数 1
1
回答
HDFS
中来自twitter数据的配置单元查询
、
、
我一直在关注这篇关于如何使用Hive分析推特数据的文章: 我已经设置了flume来收集twitter数据并
写入
HDFS
。我已经设置了一个指向相同
HDFS
位置的配置单元表。由于我不熟悉配置单元,我是希望在配置单元命令行中看到结果,还是必须从
mySQL
中挖掘结果。
mySQL
是metastore。
浏览 0
提问于2016-11-14
得票数 0
3
回答
Ubuntu上安装大数据模块的顺序
、
在Ubuntu上安装Hadoop、Sqoop、、Spark、Java、Apache、Pig、Hive、Flume、Kafka、
Mysql
和其他软件包的顺序是什么?
浏览 6
提问于2022-06-11
得票数 -1
1
回答
从
hdfs
读取并
写入
MySQL
、
、
、
我有一个从
hdfs
读取数据的用例,通过spark进行处理并保存到
MySQL
db。保存到
MySQL
db的原因是报告工具指向
MySQL
。所以我想出了下面的流程来实现它。option("inferSchema","true") .option("mode","failfast") .load("
hdfs
f
浏览 1
提问于2021-08-17
得票数 0
回答已采纳
2
回答
如何定期向hadoop提供数据
、
我发现了如何从
mysql
加载数据,但它正在导出完整的数据库,有没有办法保持我的
mysql
DB和Hadoop之间的数据同步?
浏览 2
提问于2020-03-07
得票数 1
1
回答
使用Spark
写入
memsql的最佳实践
、
、
我的用例如下:我们正在使用Spark从
HDFS
读取和转换数据。转换后的数据应保存在memsql中。长话短说: Spark scale如何
写入
memsql?
浏览 4
提问于2016-01-15
得票数 1
2
回答
在
HDFS
中处理总大小为100 in的多个小文件
、
文件从本地dir移动到
HDFS
路径(
hdfs
://messageDir/..)使用批处理和每批处理,我可以看到几千个.txt文件,它们的总大小约为100 is。几乎所有的文件都小于1MB。我可以知道
HDFS
如何存储这些文件并执行拆分吗?因为每个文件都小于1MB(小于64/128 MB的
HDFS
块大小),所以我认为不会发生任何分裂,但是文件将被复制并存储在3个不同的数据节点中。当我使用Spark读取
HDFS
目录中的所有文件时(
hdfs
:/&
浏览 2
提问于2018-10-21
得票数 0
回答已采纳
1
回答
Spring云数据流中的Kafka源和
HDFS
宿
我使用Kafka作为源,我想使用
HDFS
sink.But将Kafka上的消息
写入
HDFS
,我看到文件在
HDFS
上创建,但Kafka上的消息没有
写入
HDFS
file.Please。stream create --definition ":streaming >
hdfs
--spring.hadoop.fsUri=
hdfs
://127.0.0.1:50071 --
hdfs
.directory=
浏览 8
提问于2017-03-03
得票数 0
回答已采纳
3
回答
通过sqoop eval传递
mysql
属性
、
sqoop eval命令: sqoop eval --connect 'jdbc:
mysql
://<connection url>' --driver com.
mysql
.jdbc.Driver --query
浏览 3
提问于2016-10-05
得票数 0
2
回答
何时
HDFS
文件变得可见
、
、
假设默认Hadoop设置,如果我将128 MB大小的文件
写入
HDFS
中。客户端需要向
HDFS
写入
两个块。所以我的问题是 有人能读取当前
写入
HDFS
的块吗?或者有人得等着写完。
浏览 2
提问于2014-05-06
得票数 2
回答已采纳
1
回答
Mapreduce:在单个作业中同时从映射器和reducer编写
、
我只需要将选定的记录从映射器发送到reducer,并将rest过滤器记录从映射器本身
写入
hdfs
。reducer将
写入
发送给Reducer的记录。我的工作是处理20TB的海量数据,它使用30K的映射器,所以我相信我不能从映射器的清理方法中
写入
,因为从30K映射器的输出文件(30K文件)加载数据将是下一项工作的另一个问题。我正在使用CDH4。
浏览 0
提问于2015-07-31
得票数 0
1
回答
如何在每次触发后更新
HDFS
文件?
、
、
我正在尝试将处理后的数据
写入
HDFS
位置。经过长时间的试验和错误方法后,我获得了
写入
HDFS
位置的数据,但现在的问题是,每当我向我的目录(我指向readStream)添加新文件时,旧文件在
HDFS
位置得到处理和更新。假设我已经开始流式传输,我已经添加了文件-1.csv在我的directory...nothing中被
写入
到
HDFS
location..Then我已经添加了文件-2.csv..仍然没有
写入
到
HDFS
,接下来我添加了文件-3
浏览 2
提问于2019-01-12
得票数 0
1
回答
sqoop:如何从
mySql
获取增量更新
、
我试图让Sqoop读取
mysql
表的内容。到目前为止,我已经成功地转储了
HDFS
表的全部内容,并且还成功地获得了基于id的增量更新。我不能做的是基于日期或日期时间戳获得增量更新。该作业似乎运行正常(没有错误),但没有
写入
HDFS
。我正在运行的命令是: --connect jdbc:
mysql
://localhost/myDb --password
浏览 3
提问于2015-12-03
得票数 3
2
回答
将数据存储在
hdfs
中而不是消息队列中
、
、
我希望直接将数据放在
hdfs
中。我不希望数据
写入
文件并转移到
hdfs
。从
hdfs
开始,我将处理数据并将结果放入
HDFS
。我可以通过Java程序将数据
写入
hdfs
,而不是将复制命令交给
HDFS
吗?
浏览 6
提问于2015-07-06
得票数 0
1
回答
HDFS
接收器支持在Spring中
写入
序列文件吗?
我想在流处理中使用
HDFS
接收器将二进制键值对的数据
写入
HDFS
。因此,像序列文件这样的薄包装格式就足够了。
HDFS
接收器模块支持将键值
写入
HDFS
序列文件吗? 提前感谢!
浏览 3
提问于2015-06-10
得票数 0
回答已采纳
1
回答
微笑-模型持久性-如何将模型
写入
HDFS
?
、
、
我试图在我的Scala项目中使用,该项目使用了Spark和
HDFS
。为了我的模型的可重用性,我需要将它们
写入
HDFS
。:/my/
hdfs
/path"val outputFile: File = outputPath.toFile if(!:/my/
hdfs
/ path“,并在其中
写入
模型,而不是实际
写入
HDFS</
浏览 2
提问于2020-11-11
得票数 2
回答已采纳
1
回答
用火花写到外部Hadoop
、
、
我试图按以下方式
写入
外部
HDFS
目录:得到了一个例外如何从Spark而不是本地Hadoop/
HDFS
写入
“外部”
hdfs
目录? 谢谢
浏览 2
提问于2018-07-24
得票数 1
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Python写入数据到MySQL
Python爬虫数据写入mySQL案例
MySQL 每秒 570000 的写入,如何实现?
如何在Kerberos环境使用Flume采集Kafka数据并写入HDFS
解决写入中文数据到 MySql 时变成?
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
活动推荐
运营活动
广告
关闭
领券