腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
Azure
数据流
/数据工厂错误处理
、
我想要实现的是在azure
数据流
中包含错误处理,如果在传输行时发生错误,它不应该失败,它会处理其他行,并将发生错误的行的id保存在文本文件或日志中假设我们在一个表中有10行要接收,不知何故,我们在第5行得到了一个错误,但我希望
数据流
跳过该行,但插入其余9行,并保存在文本文件或SQL表中产生错误的行的id
浏览 16
提问于2020-02-12
得票数 1
1
回答
ADF:是否可以优雅地处理csv到Azure SQL导入的问题?
、
我有一个逗号分隔的csv文件,双引号作为文本标识符。有时源系统导出不正确,例如:源系统供应商无法修复此问题,因此这些错误将不时发生。ADF是否可以将整个行保存到一个日志文件/日志表中,然后跳过这一行?提前谢谢你的回答!
浏览 2
提问于2021-09-17
得票数 1
回答已采纳
1
回答
数据格式异常后
数据流
API多次重试
我创建了一个批处理
数据流
,但由于错误,输入文件中的一行数据格式无效。 所以管道工作给了DataFormatException。但是,在停止作业之前,它并没有停止作业,而是重试了几次~4次。当批处理
数据流
接收到无效的数据格式时,它应该先停止作业,然后再停止,而不是多次重试,然后停止作业。想法?
浏览 0
提问于2015-06-16
得票数 2
1
回答
为什么我们需要带有NoSQL数据库的Apache?
、
、
它以分布式和
容错
的方式安全地存储
数据流
.当开始生产时,我们可以过滤流数据。我不明白为什么我们需要像NoSQL这样的MongoDB数据库在Apache中存储相同的数据。我认为,如果我们需要一个NoSQL数据库,我们可以从MongoDB中的客户端收集
数据流
,而无需使用Apache。但是,大多数在数据源和NoSQL数据库之间使用Apache的大数据体系结构偏好。
浏览 0
提问于2018-02-12
得票数 8
回答已采纳
1
回答
从/到pubsub和websocket到客户端的实时转换
、
、
这种方法是正确的还是
数据流
不是为这样的东西而设计的?
浏览 0
提问于2017-02-26
得票数 0
回答已采纳
1
回答
在生产中使用Spring本地服务器安全吗?
、
、
我们正在研究在本地系统环境中实现spring云
数据流
,以便为日常事务处理流和任务作业。不使用PCF、Kubernetes、纱线或Mesos,我们正在考虑使用本地服务器进行编排。
浏览 3
提问于2016-11-12
得票数 2
回答已采纳
1
回答
Hadoop对不太大
数据流
的系统有开销吗?
、
系统某些部分的
数据流
约为50 1GB,而其他部分的
数据流
则要小得多~1GB。 我正在考虑使用Hadoop。可伸缩性并不重要,但我非常喜欢Hadoop提供的
容错
和推测运行特性。是否有另一个框架以接近Hadoop的任何方式提供
容错
处理?
浏览 0
提问于2013-04-28
得票数 0
回答已采纳
1
回答
Apache
容错
、
Apache提供了一种
容错
机制,用于始终恢复
数据流
应用程序的状态。该机制确保即使在出现故障时,程序的状态最终也会准确地反映
数据流
中的每条记录一次。
浏览 5
提问于2020-02-01
得票数 1
回答已采纳
2
回答
Memcached的分布式性质
、
服务器甚至都没有意识到彼此--那么
容错
呢?谢谢!
浏览 3
提问于2012-05-11
得票数 2
回答已采纳
2
回答
如何删除源数据集(JSON)中的重复项并将数据加载到azure数据工厂的azure SQL DB中
、
、
、
我在SQL DB中有一个包含主键字段的表。现在,我在azure数据工厂中使用了一个具有源数据集(JSON)的复制活动。"message": "'Type=System.Data.SqlClient.SqlException,Message=Violation of insert duplicate key in obje
浏览 0
提问于2019-08-07
得票数 1
3
回答
在读取存储在ADLS中的CSV时,在Azure数据工厂中发现的列数比预期的多
、
、
、
、
我正在导出F&O D365数据到CSV格式的ADLS。现在,我正在尝试读取存储在ADLS中的CSV,并使用Azure数据工厂将其复制到Azure Synapse专用SQL池表中。但是,我可以创建管道,它可以工作在少数几个表中,没有任何问题。但是,由于列数不匹配,一个表(salesline)失败了。下面是CSV格式示例,在CSV中没有列名(头),因为它是从F&O系统导出的,列名存储在salesline.CDM.json文件中。56530
浏览 3
提问于2022-06-21
得票数 0
回答已采纳
1
回答
Hazelcast Jet和Apache Flink有什么区别?
、
更具体地说,Hazelcast Jet解决了Flink没有解决的问题(同样好),反之亦然?
浏览 3
提问于2017-02-15
得票数 11
1
回答
为什么Flink中的函数需要可序列化?
考虑Flink中的FlatMapFunction。这要求它的任何实现都必须是可序列化的。
浏览 0
提问于2019-06-28
得票数 0
2
回答
使用google dataflow进行多次导出
不确定这是否是询问的正确位置,但我目前正在尝试运行一个
数据流
作业,该作业将一个数据源划分为多个位置中的多个区块。然而,我觉得如果我试图在一个作业中一次写入太多的表,
数据流
作业更有可能因为HTTP传输异常错误而失败,并且我假设有一些限制:我可以将多少I/O包装到一个作业中?为了避免这种情况,我能想到的最好的解决方案是将这个作业拆分成多个
数据流
作业,但这意味着我将需要多次处理相同的数据源(一次处理哪个
数据流
作业)。
浏览 0
提问于2016-05-05
得票数 0
1
回答
Azure数据工厂中复制活动的异常处理
、
、
、
我已经尝试过复制活动提供的
容错
选项,但这并不能解决这个问题。
浏览 4
提问于2022-11-17
得票数 0
回答已采纳
2
回答
持续向dynamoDB推送S3中的日志
、
、
、
我们希望从s3到dynamoDB的
数据流
是连续的。 还有什么其他选择可以实现这一点呢?将数据从S3移动到dynamoDB并不是一个非常独特的要求。那么你是如何解决这个问题的呢?如果是,那么如何使这个lambda
容错
?
浏览 3
提问于2017-12-09
得票数 1
1
回答
火花RDD循环
容错
、
、
、
、
RDD通过谱系图提供
容错
功能,这就是星火成为
容错
的方式 那么,在使用spark数据帧时,spark是否会在后台创建RDDs以实现
容错
呢?
浏览 3
提问于2022-11-17
得票数 0
2
回答
为什么工作节点不能
容错
?
、
📷这意味着,如果一个工作节点发生故障,那么管理器将启动另一个工作节点。
容错
在经理级别保持,以了解集群的状态。 为什么在管理节点中
容错
,而在工作节点中不
容错
?
浏览 0
提问于2019-09-08
得票数 0
2
回答
分布式、错误处理、TB级数据拷贝
、
、
、
我们有一个盒子,每天有to的数据(10-20TB),驱动器上的每个文件都在to到to的任何地方。除了distcp (hadoop)之外,我似乎找不到任何构建来处理如此大量的数据的东西。Robocopy/etc不能这样做。
浏览 1
提问于2010-10-06
得票数 1
3
回答
如何将
数据流
到EMR集群
、
、
我很欣赏如何将数据从一个前提下的Windows服务器流到一个持久的EMR集群?我想运行一个持久集群,运行一个MR作业,就像可用的WordCount示例一样。我希望将文本从本地Windows流到群集,并由正在运行的作业进行处理。这需要分两部分处理吗? 正如您可能知道的,我是一个Windows的家伙,延伸到EM
浏览 4
提问于2013-12-18
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
数据流下的容错和查询技术
「数据流程图」数据流程图示例-订餐系统
TCP交互数据流
分布式系统全景分析:从故障容错到拜占庭容错
数据流形的变分推断
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
活动推荐
运营活动
广告
关闭
领券