腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(529)
视频
沙龙
1
回答
Nifi
在从
CSV
解析
文件
后向
数据库
插入
动态
值
?
apache-nifi
processor used GetFile -> SplitRecord -> ConvertJSONToSQL -> PutSQL 目标:在名为list_index的DB列中
插入
动态
值
,在DB列date中
插入
当前日期,在DB列raw_data_text中
插入
原始数据
浏览 30
提问于2021-07-08
得票数 0
1
回答
列的类型是时间戳,没有时区,但表达式的类型是变化的:
csv
、
timestamp
、
apache-nifi
、
timescaledb
我正在尝试使用
nifi
将
CSV
记录
插入
Postgres
数据库
。示例
csv
文件
:'2019-10-21 15:13:11','colombo' 错误列'timenow‘是没有时区的时间戳类型如果我使用普通的insert into conditions (timenow,location) values ('2019-10-21 15:1
浏览 2
提问于2019-10-21
得票数 4
回答已采纳
2
回答
在同一列中将
NiFi
中的字符串
值
替换为整数值
apache
、
amazon-s3
、
apache-nifi
我想替换一个'string
值
‘,并使用
Nifi
ReplaceText作为一个整数值输入这个
值
。我不知道如何在
NiFi
中实现这一点。因此,我的方案如下: 我将有一个
CSV
文件
,其中有几个带整数的字段,几个字段作为总字符串
值
。对于具有字符串
值
的字段,我希望将其作为预定义的整数
插入
到
数据库
表中。MySQL表中,Field3和Field4有数据类型为Integer,所以在将
CSV
插入</
浏览 1
提问于2018-12-20
得票数 2
回答已采纳
1
回答
如何在
NiFi
中正确
解析
嵌套的Avro记录?
avro
、
apache-nifi
我能够读取它们并在现有的
NiFi
流中转换它们。但是,最近的一项更改要求我从这些
文件
中读取数据,并
解析
本例中的嵌套记录employers。我阅读了Apache
NiFi
的博客文章,,但是我想不出如何让AvroRecordReader
解析
嵌套记录。]}} 我希望实现的是为每个recordFormatName记录读取recordFormatName记录的流程,并使用PutDatabaseRecord处理器跟踪所看到的employers
值
。当前的计划是将记录
插入
到My
浏览 1
提问于2018-05-21
得票数 1
回答已采纳
1
回答
NIFI
在SQL
数据库
中
插入
大型
CSV
csv
、
apache-nifi
我试图将大数量的大
CSV
文件
插入
到
数据库
中。我是用PutDataBaseRecord处理器来完成这个任务的,这使得这个过程非常快速和简单。问题是,我不知道如何正确处理故障,例如,如果
值
与列的数据类型不匹配,或者行是重复的。如果发生这种情况,PutDataBaseRecord处理器将丢弃它刚刚从
CSV
文件
中转换出来的批处理的所有记录。因此,如果一个记录2.000.000失败,2.000.000记录中没有一个记录会进入
数据库
。 通过事先清理
CSV<
浏览 0
提问于2018-09-04
得票数 1
回答已采纳
1
回答
ConvertRecord在
NiFi
中的应用
mysql
、
apache
、
etl
、
apache-nifi
是否可以使用convertRecord或ant其他处理器来处理null (
CSV
中不存在列)?(注:Value3 3并非每次都存在于
CSV
中,有时存在,有时列不存在)
CSV</e
浏览 0
提问于2018-11-05
得票数 3
回答已采纳
2
回答
在ADF V2中-如何为S3数据集
动态
添加日期(“yyyyMMdd”)到
文件
名
azure-pipelines
、
azure-data-factory-2
每天都会创建一个新
文件
,其结构为"data_20180829.
csv
“ 我曾尝试在Copy Data活动的fileName字段中
插入
动态
内容来完成此操作。然而,即使我尝试像@{concat('data_','20180829.
csv
')}这样简单的东西(应该可以
解析
为正确的
值
),源也会失败。 有没有办法看到
动态
内容会
解析
成什么?
浏览 30
提问于2019-08-30
得票数 3
回答已采纳
2
回答
获取
Nifi
PutSQL处理器的最后执行时间戳
python
、
apache-nifi
设置:,我有气流触发我的
Nifi
,它以几个PutSQL处理器结束-在这些完成之后,我需要在气流中执行其他的东西。Idea:,我想触发第一个
Nifi
处理器,然后在气流中等待,直到最后一个PutSQL处理器的last_execution_timestamp被更新。问题:I尝试访问属性statsLastRefreshed,但这不是最后一次执行时间,而是最后一次任何东西(用户/api请求)访问导致
Nifi
刷新处理器的处理器。我看到的唯一其他选项是从气流向上一个PutSQL处理器的
数据库
表发出请求,以查看那里是否发生了任何
浏览 1
提问于2021-04-12
得票数 1
回答已采纳
1
回答
在数据集结尾处
插入
非常慢。
mongodb
我试图
在从
CSV
文件
解析
这些记录(域名和相关信息)后将它们
插入
到MongoDB中。目前,我为每个TLD提供了一个集合,如.com、.org等。在最初
插入
记录期间(例如,人口最少和模糊的TLD和初始.com等
插入
的快速
插入
),我获得了大约每秒10k-15k的
插入
速度。相关的额外信息: MongoDB
浏览 0
提问于2017-08-15
得票数 1
2
回答
在
数据库
中进行字符串/日期比较或
插入
-替换会更快吗?
mysql
、
ruby-on-rails
、
ruby
、
sqlite
他们只发布包含全年数据的
CSV
文件
,没有每天/每周/etc
文件
,因此到年底时
文件
中有365行。在每一行中,日期被划分为年份、月份和日字段。我会将上次运行程序的日期保存在
数据库
或文本
文件
中。我使用Date.strptime
解析
该日期,并将其存储为last_run_time。}-#{row[4]}")将三个日期字段
解析
为一个新的da
浏览 3
提问于2014-10-12
得票数 0
2
回答
如何在分析数组中的数据时删除新行或换行符
php
、
codeigniter
、
csv
、
newline
、
line-breaks
我正在尝试
解析
csv
文件
以将
csv
内容
插入
到我的
数据库
中。
解析
数据后,数组如下所示(] => GKA 我想提取AirportCode GKA并
插入
它。一切看起来都很好,除了上面数组中的键和
值
有换行。
浏览 0
提问于2014-08-18
得票数 0
1
回答
将手写注释字段复制到Redshift中
sql
、
amazon-web-services
、
amazon-s3
、
amazon-redshift
我有一个新的
csv
文件
,我不知道如何引入"note“字段--这是一个自由操作的字段,销售人员可以在其中写入任何内容。它可以有";",“",".",空格,换行符-任何东西。
浏览 11
提问于2018-08-07
得票数 0
回答已采纳
1
回答
使用E表
动态
属性在系统中
插入
vs加载数据
mysql
、
insert
、
entity-attribute-value
、
loaddata
我有一个用于执行
csv
->
数据库
导入的遗留php web应用程序,它可以存储实体数据的“主”表,以及存储每个实体的
动态
数据的实体属性
值
表。导入过程是通过
csv
文件
逐行迭代,每一行
插入
一个主表,多个
插入
到EAV表。这个过程是SLOOW,对mysql调优知之甚少的东西告诉我,LOAD数据语句通常比一系列
插入
要快得多;然而,由于EAV过程,迭代仍然必须进行,尽管迭代是基于
数据库
查询的结果,而不是
csv</e
浏览 1
提问于2011-01-29
得票数 0
回答已采纳
1
回答
CSV
到
数据库
表转换
database
、
csv
我有一个
CSV
文件
,我需要将数据从
CSV
插入
到
数据库
。问题很简单,但我想知道还有什么好办法。让我从我如何处理这件事开始: <column srcName="Cust_Name" tarGetName="CustName"&g
浏览 2
提问于2012-10-15
得票数 0
3
回答
云SQL/
NiFi
:使用python和
NiFi
连接云sql
数据库
python
、
google-cloud-storage
、
etl
、
google-cloud-sql
、
apache-nifi
所以,我正在做一个etl过程,在这个过程中,我使用Apache
NiFi
作为etl工具,并使用google cloud sql中的postgresql
数据库
从GCS读取
csv
文件
。作为该过程的一部分,我需要编写一个查询来转换从
csv
文件
读取的数据,并将其
插入
到云sql
数据库
中的表中。因此,基于
NIFi
,我需要编写一个python来每天自动执行sql查询。但这里的问题是,我如何编写python来连接云sql
数据库
?应该
浏览 0
提问于2019-04-28
得票数 0
1
回答
通过URL
解析
CSV
API
javascript
、
php
、
database
、
api
、
csv
我想知道用下面的URL格式
解析
csv
文件
的最佳方法是什么。我想处理结果并将
值
插入
到
数据库
中。数据会随着时间的推移而变化,因此实现需要是
动态
的。
浏览 1
提问于2015-07-07
得票数 0
1
回答
自动化从
文件
夹中的多个
CSV
文件
导出数据的过程
c#
、
asp.net
、
sql
、
sql-server
我已经编写了一个脚本,将数据从单个
CSV
文件
导出到Server中。我必须为
CSV
提供一条路。更新:I编写了一个控制台应用程序,它
解析
,连接到
数据库
并
插入
值
。但就像我说的我必须给出
文件
路径。我正在寻找一种只提供
文件
浏览 0
提问于2013-10-15
得票数 2
回答已采纳
1
回答
如何区分MacRoman和Windows-1251编码?
php
、
encoding
、
csv
、
import-from-excel
我正
在从
csv
文件
导入一些数据。这个
CSV
文件
是在Windows或Mac上的Excel中生成的,它给出了两种不同的编码"Windows-1251“和"MacRoman”。我需要将我的输入字符串(
csv
文件
内容)转换为utf-8以
插入
到DB中。谢谢你的任何提示!
浏览 1
提问于2011-04-27
得票数 2
回答已采纳
2
回答
在Ruby中
动态
创建局部变量
ruby
、
variables
、
dynamic
我有一个
CSV
文件
,我正在
解析
该
文件
并将其
插入
数据库
中。我想编写一个
解析
器,它考虑到列顺序将来可能会发生变化这一事实。我认为可以通过将标题行作为数组来获取,并将
值
放入
动态
创建的局部变量中(使用eval)。但是,这似乎不起作用,因为局部变量似乎无法在eval之外访问。
浏览 7
提问于2010-10-05
得票数 0
回答已采纳
2
回答
将Excel表中的数据反映给android应用程序
android
、
excel
我有两个问题: 我有一个Excel表作为我的数据的
数据库
。我想在我的android应用程序中显示这些数据。我该怎么做呢?我必须使用SQLite
数据库
吗?如果是,那怎么做?
浏览 1
提问于2013-05-21
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
数据加载、存储与文件格式
恒讯科技分析:有哪些不同的MySQL数据库引擎?
pandas从入门到上楼
数字 0 的秘密
教学笔记:mysql数据库存储引擎及区别
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券