流批一体线上线下一致性 - 腾讯云开发者社区

文章/答案/技术大牛

发布

1回答

如何避免每次执行查询时的查询准备(解析、规划和优化)？

apache-spark、apache-spark-sql、spark-streaming

在我们的Spark流应用程序中，使用60秒批处理，我们在一个DF上创建一个临时表，然后对它运行大约80个查询，如下所示：没有一种方法可以生成、缓存和重用查询计划吗？我们在CDH/纱线上使用Spark2.2。谢谢。

浏览 0提问于2018-03-31得票数 5

1回答

如何使用cleartool命令在流中添加组件？

clearcase、cleartool

我想在clearcase中向流(开发和集成)添加组件。如何使用命令(清除工具)添加组件？

浏览 7提问于2019-12-09得票数 1

回答已采纳

2回答

你能解释一下当内容有溢出、隐藏和内联块时，第三个表格上的额外填充吗？

html、css、css-tables

向元素添加"display: inline-block“和"overflow: hidden”似乎会改变它们在表格中的页边距。这似乎与垂直对齐有关，但为什么"overflow: hidden“即使只是水平对齐，也会有所不同？ table { margin: 10px; border: 1px solid black; background-color: red; display: inline-block; /* over

浏览 1提问于2018-01-12得票数 0

2回答

使用闪光灯增加每秒的图像数量？

flash、adobe、flash-cs4

我是闪光CS4的初学者，我想知道如何增加我的序列每秒图像的数量，因为我想要更平滑的变形。时间不会改变。实际上，我每秒有24张图像，我想放48张。有没有一种方法可以自动完成，而不需要手动更改。谢谢

浏览 0提问于2010-03-12得票数 0

回答已采纳

2回答

事务性和最终一致性--哪些操作必须在事务上一致？

domain-driven-design、transaction、messaging、eventual-consistency

我发现了很多关于强一致性和最终一致性以及何时选择其中一个的资源。订单服务接收并存储订单到数据库。订单服务在消息总线上发送OrderReceived消息。我是否错误地认为操作1和操作2几乎都应该是事务一致的(这种情况可能有例外)？成功地执行操作A成功地执行操

浏览 0提问于2022-01-04得票数 -1

2回答

SSIS数据流错误输出一直在运行

ssis

我有一个SSIS数据流任务。其中包含了平面文件和OLEDB目的地。我已经发送了一个错误输出来重定向OLEDB目的地上的行。问题是，即使没有错误，重定向行也总是运行。这是一个带有SSIS包的bug吗？

浏览 0提问于2011-10-07得票数 5

1回答

在纱线上使用Ignite确保本地缓存

apache-flink、ignite、flink-streaming

我有一个用Flink编写的流处理应用程序&我想从状态后端使用它的内部键值存储来计算流聚合。问题是我希望Flink和Ignite都在纱线上运行。通过一致性分区，我可以确保数据通常被发送到正确的缓存，并且在出现故障等情况下，可以从HBase重新填充数据。

浏览 3提问于2016-02-08得票数 1

2回答

套接字无法接收数据

java、sockets、serversocket

在获得流之后，我希望客户端向服务器发送一个数字，服务器将反过来响应客户端，无论它是不是质数。它显示在awt.Label中。但是我不能收到任何回应。

浏览 3提问于2012-01-09得票数 0

2回答

将数据横向划分为Server中的“存档”需要几个月的时间来执行？

sql-server、ssis

我的组织正在执行一个项目，如果客户在某个时间框架内没有帐户活动，则将客户数据和所有相关记录(记帐交易等)从一个数据库转移到另一个数据库。基本上，这一过程：我只是不敢相信这要花上几个月的时间，我

浏览 4提问于2010-02-23得票数 2

回答已采纳

1回答

Connectorx - cx.read_sql()在当前更新表时间歇性地返回所有零行的数据或崩溃。

python、connector

在使用df = connectorx.read_sql(conn=cx_con, query=f"SELECT * FROM table;")时，我偶尔会得到一个带有正确列的数据数据，但是所有行都是零，否则它会与消息Process finished with exit code -1073741819 (0xC0000005)崩溃。只有在使用df.to_sql("table", con=con_in, if_exists="append")同时更新表时才会发生这种情况。我的程序从本地数据库中读取一个表，并在并发运行的程序中不断更新该表。当我尝试

浏览 9提问于2022-09-21得票数 1

回答已采纳

1回答

在事务复制订阅服务器上打开延迟持久性是否安全？

sql-server、sql-server-2017、transactional-replication

在使用publisher SQL Server接收来自应用程序的频繁插入和更新的事务复制环境中，以及具有拉式复制作业的订阅服务器SQL Server中，启用订阅服务器延迟持久性安全吗？虽然打开延迟耐用性总是存在风险，但是对于复制订阅服务器来说，打开它是否会增加风险呢？如果它是不支持或有额外的风险，有办法减少WRITELOG等待的订户？订阅服务器是一个报告服务器，它的第一个等待始终是WRITELOG，因为应用程序在发布服务器上频繁地插入和更新(在345.1小时的正常运行时间中，WRITELOG等待时间为45.3小时)。

浏览 2提问于2020-05-28得票数 1

回答已采纳

1回答

MongoDB游标

javascript、node.js、mongodb、mongoose、database-cursor

在整个结果集准备就绪之前，是不可能开始流结果的。是那么回事吗？

浏览 0提问于2020-11-18得票数 0

3回答

是否不可能有一个基于数组的带有泛型的队列？

java、arrays、generics

这是一个基于数组的队列，用于int： * Array based * private int MAX_SIZE; private int back = 0; {

浏览 0提问于2015-09-12得票数 3

回答已采纳

1回答

使用Perforce，在许多具有权限的项目中共享一个文件。

perforce、perforce-stream

开发人员将无法在子应用程序中编辑这些文件(类似于p4流导入)，但是当它们与应用程序同步时，它将删除应用程序文件和共享文件的副本。编辑这些文件将只发生在香草应用程序。更复杂的是，每个应用程序都有四个环境(开发，qa，舞台，现场)。我看不出在这个问题上有什么明确的道路。 HTTP分布。

浏览 4提问于2013-10-10得票数 1

回答已采纳

1回答

火花流:处理时间>批处理时间时的问题

hadoop、apache-spark、apache-kafka、spark-streaming、kafka-consumer-api

我正在使用DirectAPI在纱线上运行火花流(1.6.1)来读取卡夫卡主题的事件，该主题有50个分区，并在HDFS上编写。我有60秒的间歇时间。因此，当批处理需要很长的时间处理火花，启动并发的4个活动任务来处理积压批时，由于批处理间隔对于这样的数据量太小，批处理积压仍会在一段时间内增加。我对此几乎没有疑问。

浏览 2提问于2016-12-16得票数 6

3回答