使用队列向表中插入数据
是一种常见的数据处理方式，它可以提高系统的并发性和可靠性。下面是关于使用队列向表中插入数据的完善且全面的答案：
概念： 使用队列向表中插入数据是一种异步处理的方法，即将需要插入的数据先放入队列中，然后由后台的任务或者工作线程来处理队列中的数据，将其插入到目标表中。这种方式可以减少前端请求的响应时间，提高系统的吞吐量和并发性。
分类： 使用队列向表中插入数据可以分为两种类型：消息队列和任务队列。
- 消息队列：将需要插入的数据封装成消息，放入消息队列中，后台的消费者从队列中获取消息并处理，将数据插入到表中。常见的消息队列有 RabbitMQ、Kafka、ActiveMQ 等。
- 任务队列：将需要插入的数据封装成任务，放入任务队列中，后台的工作线程从队列中获取任务并执行，将数据插入到表中。常见的任务队列有 Celery、Redis Queue 等。
优势： 使用队列向表中插入数据具有以下优势：
- 异步处理：将数据放入队列后，前端请求可以立即返回，后台任务可以异步处理，提高系统的响应速度。
- 提高并发性：通过队列的方式，可以将并发的请求转化为后台任务的并发处理，提高系统的并发性能。
- 提高可靠性：使用队列可以保证数据的可靠性，即使后台任务出现异常或者故障，数据仍然可以被保留在队列中，待后续处理。
- 扩展性好：通过增加消费者或者工作线程，可以方便地扩展系统的处理能力，应对高并发的情况。
应用场景： 使用队列向表中插入数据适用于以下场景：
- 高并发写入：当系统需要处理大量的写入请求时，使用队列可以有效地缓解数据库的压力，提高系统的性能。
- 异步处理：当需要将数据的插入与其他业务逻辑解耦合时，可以使用队列进行异步处理，提高系统的响应速度。
- 数据同步：当需要将数据从一个系统同步到另一个系统时，可以使用队列进行数据传输，保证数据的一致性和可靠性。
推荐的腾讯云相关产品和产品介绍链接地址： 腾讯云提供了多种与队列相关的产品，以下是其中几个推荐的产品及其介绍链接地址：
- 腾讯云消息队列 CMQ：腾讯云消息队列 CMQ 是一种高可靠、高可用的分布式消息队列服务，支持消息的发布与订阅、点对点消息传递等多种消息模式。详情请参考：https://cloud.tencent.com/product/cmq
- 腾讯云云函数 SCF：腾讯云云函数 SCF 是一种事件驱动的无服务器计算服务，可以将函数作为任务放入队列中进行异步处理。详情请参考：https://cloud.tencent.com/product/scf
- 腾讯云弹性 MapReduce TEM：腾讯云弹性 MapReduce TEM 是一种大数据计算服务，可以将数据处理任务放入队列中进行并行计算。详情请参考：https://cloud.tencent.com/product/tem
相关·内容
2回答
我有两个PL/SQL系统，驻留在两个独立的数据库中。SystemA将需要填充系统B的表。这可能是通过数据链路完成的。每次在SystemB的表中插入一组记录时，SystemB中的一个进程都必须运行。我可以等待SystemA完成，然后运行脚本在SystemB中开始处理，但是由于SystemA可能需要花费很多小时来处理然后填充SystemB，所以我更希望SystemB在每组记录可用时立即处理它们(每组记录都可以独立处理，所以这应该可以正常工作)。
我不确定的是如何在PL/SQL中进行事件驱动编程。我需要SystemA通知SystemB一个集合已经准备好处理了。我的第一个想法是在SystemB中有一个
浏览 1提问于2011-02-17得票数 2
回答已采纳
目前，我对lambda函数有许多调用，这些调用是在SQS队列中出现消息时调用的。这些lambda函数将数据插入到数据库中。在处理完所有消息之后，我需要一种触发lambda函数的方法。我的想法是在数据库中发生所有n个insert操作之后创建一个Cloudwatch事件，但是我找不到显示这是可能的文档。这是解决这个问题的好办法吗？在数据库表上出现N个插入后，是否有可能创建Cloudwatch事件？
浏览 3提问于2022-04-03得票数 -1
1回答
我有一个azure函数，它从azure数据库调用一个存储过程。它的工作方式是，当它收到消息"A“时，它应该使用批量插入.csv文件将文件"A”从blob存储复制到数据库中的临时表"A“，而我可能会在一秒钟内获得几个需要插入到单独表中的文件。 问题是，当我使用"Microsoft Azure Storage Explorer“在队列中手动添加一条且只有一条消息来触发函数时，它工作得非常好，我可以看到目标表中的数据，但当它自动运行时，它必须处理不止一个文件。所以没有一个表有任何数据，也没有任何文件被复制！也不例外！太奇怪了！ 那么，当我们同时调用几个azure函数
浏览 22提问于2019-12-03得票数 0
我正在使用Server 2012和M2M 4.5编写一个.net数据捕获系统，方案如下：
我有一个远程数据捕获应用程序，一个web服务，一个DB。
该应用程序捕获数据并调用web服务将数据上传到DB。web服务调用" insert“storedproc直接在表A中写入原始数据；然后，web服务返回一个值，告诉插入是否成功。
现在，需要在插入进程之后运行一个后处理存储程序来更新另一个表(表B)。以前我使用“作业代理”，但由于所需的轮询间隔更改为“少于5分钟”，出于效率和实时性的原因，我希望避免使用“轮询”。
理想情况下，我希望应用程序能够调用web服务并获得返回消息/值，在此之后，the
浏览 3提问于2014-06-03得票数 0
1回答
我在数据库中实现了Service功能，并且配置工作得很好。但是，当我将4行插入基表时，触发器只调用一次，而不是四次。这对我来说是不对的，有时在表格中没有插入任何数据。
触发代码
CREATE TRIGGER [dbo].[trg_Insert_BaseTable]
ON [dbo].[BaseTable]
FOR INSERT
AS BEGIN
DECLARE @InitDlgHandle AS UNIQUEIDENTIFIER;
BEGIN TRANSACTION;
BEGIN DIALOG @InitDlgHandle
浏览 0提问于2018-11-06得票数 1
1回答
SQL执行错误
、、、、
我正在使用visual studio 2012和MS SQL Server 2012。我创建了SQL项目，并按照以下链接执行步骤
现在，当我在附加触发器的表中插入数据时，就会插入数据，但我会得到以下错误。“请求System.Net.WebPermission、System、Version=4.0.0.0、Culture=neutral、PublicKeyToken=b77a5c561934e089‘类型的权限失败。”
有人能告诉我，我怎么能修好它吗？
提前谢谢。
浏览 3提问于2013-01-30得票数 5
回答已采纳
比方说，有一个面向遗留服务的应用程序运行在Java上，并得到Server数据库的支持。有没有一种方法可以监视表中的新记录(插入)，而不需要每隔几分钟就轮询一次？由于该应用程序是遗留下来的，正在努力与一种新的基于事件的模型集成，比如Kafka (甚至排队)，它将被杀死并被击落。
浏览 3提问于2022-08-28得票数 -1
1回答
我有两个项目。第一个项目是使用spring boot、hibernate和angular.js。另一个是后端服务，它接收数据并将其插入到表中。
当后端服务插入一些数据时，我想在spring hibernate项目中执行一个操作。
后端服务是一个Java程序。
浏览 0提问于2016-12-12得票数 0
我希望实现至少一次对消息队列(ex: RabbitMQ)的传递，同时在数据库中提交事务(ex: PostgreSQL)。
流
启动数据库事务
从数据库中获取一些数据
将一些数据插入数据库
如果适用某些条件，则将消息发布到rabbitMQ
提交事务
如您所见，如果在步骤4之后、步骤5之前发生故障，我们已经发布了一条无效的消息。
即使我们重试整个过程，步骤4所需的条件也可能不再为真，因此先前发布的消息将更加无效。
解决这一问题的方法是使用CDC，但由于技术成本，目前已经无法选择。(我很想知道是否有任何廉价的配置CDC选项)
可能解决办法
创建一个events表并在其中插
浏览 7提问于2021-11-25得票数 0
1回答
多线程写入单个数据库表
、、、、
我在使用hibernate将多个线程插入到数据库中的单个表中时遇到了问题。每个线程都会生成一些数据，然后将它们插入到表中。问题是，由于数据库锁，插入只由一个线程处理。什么是最好的解决办法，以便所有线程都可以在同一时间插入？我试着有一个专用的线程，它将写入到表中，其他线程将生成数据。但是数据的生成比插入要快得多，所以它不能解决我的问题。
我唯一的想法是为每个线程创建自己的数据库/表，但这对我来说似乎有点奇怪，因为我不知道我将提前创建多少个线程。有没有更好的解决方案？
浏览 0提问于2015-11-21得票数 1
我有一个UITableView，它有时会快速插入新行。新行的插入由侦听每次基础数据更改时触发的更新通知的通知观察者处理。我在所有数据模型更改和实际通知发布本身周围使用一个@同步块.希望每个增量数据更改(和行插入)将分别处理。然而，也有一些时候，这仍然失败。异常会告诉我，它期望有10行(根据数据模型中的计数)，它以前有8行，但是更新通知只告诉它插入一行(因为这是两个快速启动的通知中的第一个)。
我试图了解其他人是如何处理这类情况的。其他开发人员如何减轻在两个表视图更新操作之间存在多线程竞争条件的问题？我是否应该有一个更安全的锁来控制更新通知(以及为什么@ doing不执行它应该做的事情)？
任何
浏览 4提问于2013-07-16得票数 4
回答已采纳
我有一个需求，在中，我需要在web应用程序的表中捕获一个插入行事件，以通知用户添加了哪些最新记录。
方案
A1的应用程序不断将记录发送到数据库D1。对于插入到数据库W1中的任何新记录，都应通知web应用程序D1。
web应用程序是使用spring-web-mvc，JPA persistence开发的。我研究了使用jpa和hibernate提供的entitylistner事件的选项，但如果相同的应用程序执行插入操作，这将受到限制，但事实并非如此。
你能帮帮我吗，我该怎么解决这个问题？
浏览 29提问于2015-03-13得票数 0
回答已采纳
6回答
我想编写一个监视数据库表的服务(可能是用c#)。当记录插入到表中时，我希望服务获取新插入的数据，并使用它执行一些复杂的业务逻辑(对于TSQL来说太复杂了)。
一种选择是让服务定期检查表，以查看是否插入了新记录。这样做的问题是，我希望服务在插入发生时立即知道它们，并且我不想扼杀数据库的性能。
通过一些研究，似乎编写一个CLR触发器就可以完成这项工作。我可以在c#中编写当插入发生时触发的触发器，然后将新插入的数据发送到Windows或WCF服务。
您认为这是SQL CLR触发器的良好(甚至可能)使用吗？
关于如何做到这一点，还有其他的想法吗？
浏览 0提问于2009-01-08得票数 7
回答已采纳
3回答
我正在研究数据库审计解决方案，并考虑让SQL Server触发器处理更改并将它们插入审核表中。由于这是一个SQL数据库，并且将相当大，因此我担心审计导致的数据库成本不断增长。
为了降低审计所需的成本，我正在考虑将审计表(或表)存储在Azure表中，而不是Azure SQL数据库中。因此，问题是，如何使SQL Server触发器将更改后的数据输入Azure表？
我唯一能想到的就是在SQL数据库中有一个审计表(或多个表)，这样触发器就可以在本地插入行，然后每隔X秒就有一个Worker角色从其中取出任何行，然后将它们移到Azure表中，然后从SQL数据库表中删除，这样它就不会变大。
是否有更好的方法
浏览 3提问于2014-01-02得票数 1
回答已采纳
有两个pgms
COBOL (主PGM)，它读取mq队列，触发事务并将响应发回.
Cobol DB2 (Sub PGM)，它将mq详细信息记录到主PGM.中的DB2表中。
问题是，在uow的末尾，只有最后一次将数据插入表(来自Sub pgm)时才被提交，而以前的调用中没有插入数据。
我也用显式提交进行了测试，但是结果是相同的。但是，如果我们在PGM 2中给出同步点，它可以工作，但最终会从另一个子PGM恢复对vsam文件所做的其他更新。
Main (读取MQ，写MQ) ->子Pgm(将MQ详细信息(Q/R)记录到DB2表)插入后返回控制。
有什么帮助吗？
浏览 6提问于2022-08-31得票数 -1
我正在创建django应用程序( django术语中的应用程序)，其中第一个应用程序在表中插入数据，第二个应用程序从表中挑选一项，对其进行处理，最后从表中删除。它会继续这样做，直到处理完所有条目。当处理完所有条目时，它会停止。当创建新条目时，它将重新启动。因此，这就像是消费者-生产者问题。
浏览 0提问于2013-05-04得票数 2
回答已采纳
5回答
我有一个名为jobs的数据库表，还有一些生产者服务在向该表中插入数据。我需要创建一个消费者服务来处理这些数据。
我得到了一个具有8个核心16个线程的服务器，并创建了一个具有16个线程的线程池。
ExecutorService executorService = Executors.newFixedThreadPool(16);
我将从数据库中获取16条记录，并将这些数据分发到使用者线程。在所有线程完成工作后，我将获取另外16条记录(我真的不知道我的解决方案是否有效)。
如何将这些任务分发给使用者线程？我需要使用BlockingQueue吗？
浏览 2提问于2018-02-20得票数 0
4回答
我正在使用我的sql数据库开发php应用程序，应用程序和数据库都托管在相同的服务器(客户机服务器)上。
我们希望跟踪该数据库的某些表，为此目的，我们在不同的服务器(供应商服务器)上创建了相同的表。
在将行插入客户端数据库表后，在远程侧表中插入行的最佳方法是什么？
注意:要插入的行一次可以是50000或50行。
摆在我面前的选择：
1)使用两个连接，并将在两个数据库中插入行，但这需要时间，因为我必须大量插入行。
2)对远程数据库使用curl请求，并在本地数据库插入行后插入数据。
浏览 2提问于2013-05-02得票数 0
1回答
我正在开发一个数据优化项目。它有一个客户端web应用程序来接收来自用户的任务。假设这些任务是一些常规系统无法轻松完成的繁重计算。该程序需要很长一段时间才能计算出大量数据。所以我要做的是从我的web应用程序接收计算命令，并在我的服务器端有一个windows服务来监听要完成的新任务。
我希望我的服务能够侦听插入到我的Tasks表中的数据，并根据这些日期的时间运行计算器。当然，我将不得不处理一些多线程。也许如果程序很忙，其他进程将不得不等待。
我也不介意为我的应用程序提供一个小GUI来查看现在正在处理哪些订单，以及我的服务是繁忙还是空闲。
我首先想到的是在数据库中添加SQL Server作业，以便频
浏览 1提问于2013-11-12得票数 0
2回答
这个问题肯定已经有了解决方案，但我在寻找它时遇到了问题。
我们将数据存储在表存储中，并通过restful api (Web API)将其与支持离线的客户端web应用程序进行同步。
我们使用高水位线(当前是日期时间)来确保我们只下载已更改/添加的数据。例如clients/get?watermark=2013-12-16 10:00
我们使用这种方法面临的问题是在边缘情况下会发生什么，其中多个服务器正在插入数据，而get正在发生。插入数据的时间戳有可能低于客户端的时间戳。
我们应该担心这一点，或者有人可以推荐一种更好的方法来做到这一点？
我认为我们的主要问题是将数据插入到存储中。在这一点上，没有办
浏览 2提问于2013-12-17得票数 0
我需要在一个名为‘queue’的表中插入一些数据，这是一个特定日期的患者队列。将插入两个字段数据，字段名称为‘PatientID’和‘Visiting’。表‘queue’like
QueueID | PatientID | Visiting_date |
-------------|-------------------|-------------------------|
1 | 4 | Current date |
表:队列
但在插入记录时有两个条件：
条件1: pat
浏览 17提问于2016-09-27得票数 3
3回答
我需要使用将大量数据(大约7.000.000个条目)批量加载到PostgreSQL数据库中。我已经阅读了关于的文档，但我不确定如何在我的案例中使用它。首先，我不能使用文件，所以数据库上的是不成问题的。此外，数据库和我正在加载到的表需要在我导入时是有效的。
场景如下:我们以固定的时间间隔(大约一个月一次)从另一个应用程序获得一个包含所有数据(包括已经存在的条目)的文件。由于条目的数量，不可能检查每个条目是否存在，我们只能批量插入新数据(在预处理之后)。
目前，为了处理这个问题，我创建了一个新表，使用libpqxx中的tablewriter插入数据(没有事务)，然后在事务中重命名旧表，并将新表重命
浏览 3提问于2011-06-07得票数 3
回答已采纳
如何使用Hibernate在MySQL表中执行low_priority或延迟插入？
在我的日志记录例程中，我希望将日志信息插入到我的数据库中的一个表中，以便进一步分析。但我并不关心插入需要多长时间，所以通常我会说将LOW_PRIORITY插入到LogEntry (level，title，full)值('Info'，'Title here'，'Full log‘)中；如果我有一个实体LogEntry，我该如何编写或连接我的LogEntryDAO来执行LOW_PRIORITY或延迟的插入和更新？
干杯
耐克
浏览 0提问于2009-10-19得票数 3
回答已采纳
1回答
跨表分区的事务插入
、、、
我将一个实体存储在两个Azure存储表中。两个表中的数据是相同的，除了RowKey和PartitionKey是不同的(这是为了查询目的)。
问题
当插入这些表时，我需要操作是事务性的--只有在两个插入都成功的情况下，数据才必须提交。
只有当实体属于同一个分区时，CloudTable.ExecuteBatch(..)才能工作。
没有其他方法可以做到这一点吗？
浏览 3提问于2013-11-08得票数 0
回答已采纳
我是Sql Server Service Broker的新手，正在尝试使用它。
我能够从一个数据库发送消息，并在另一个数据库(属于同一个SQL服务器)中接收这些消息，并且我正在将这些消息插入到接收数据库的表中。
到目前为止，一切都正常，但每次我从源数据库发送消息时，我必须转到目标数据库并手动运行接收查询，以便从接收队列获取消息并将其插入到表中。
我希望在消息到达时自动接收来自接收队列的消息(或按计划，例如每10分钟)，并将它们插入到我的目标表中，而无需我手动执行此操作。
一种选择是创建一个SP，并将其安排为每10分钟运行一次。我不确定这是否是推荐的方法，或者是否有其他更好的方法来侦听接收队列，
浏览 0提问于2012-06-21得票数 4
回答已采纳
1回答
我需要在db中存储用户doubleTap计数。它工作得很好。如果我正在进行非常快的双击插入，将出现问题(数据库被锁定，没有这样的表:和内存不足)。如何处理这个问题？
提前感谢
我试过了，仅供参考：
dispatch_async(dispatch_get_global_queue( DISPATCH_QUEUE_PRIORITY_BACKGROUND, 0), ^(void)
{
@try {
if([self openAppDatabase] == YES) //If DB open success...
{
sqlite3_stmt
浏览 0提问于2015-05-02得票数 1
2回答
目前，我们每天都会收到来自第三方公司的许多webhook。
webhooks数据包含开始日期和结束日期以及用户and。当这些webhook出现时，我首先进行检查，以确保数据库中不存在该记录。例如
var CheckForDuplicateRefreshWebhook = await db.DataRefreshes.SingleOrDefaultAsync(x => x.startdate = startdate && x.enddate == enddate && x.userid == userid);
if(CheckForDuplicateRe
浏览 1提问于2018-04-04得票数 1
3回答
我们有两个系统，其中系统A将数据发送到系统B。这是一个要求，每个系统都可以独立于另一个系统运行，并且如果另一个系统宕机，两个系统都不会崩溃。问题是，在满足解耦要求的同时，系统A与系统B通信的最佳方式是什么。
系统B当前有一个进程，该进程轮询数据库表中的数据并处理已插入的任何新行。
一种建议的设计是让系统A只将数据插入到系统b的db表中，然后让系统B通过现有进程处理新行。问题是，这个解决方案是否满足解耦两个系统的要求？数据库是否被视为系统B的一部分，而系统B可能会变得不可用并导致系统A崩溃？
另一种解决方案是让系统A将数据放入MQ队列，并让一个进程从MQ读取数据，然后插入到系统B的数据库中。但是
浏览 0提问于2009-10-04得票数 2
回答已采纳
1回答
通过Azure函数批量插入表存储
、、、、
我有下面的azure存储队列触发azure函数，该函数绑定到azure表进行输出。
[FunctionName("TestFunction")]
public static async Task<IActionResult> Run(
[QueueTrigger("myqueue", Connection = "connection")]string myQueueItem,
[Table("TableXyzObject"), StorageAccount("connection")]
浏览 4提问于2020-09-22得票数 1
回答已采纳
4回答
我在Oracle数据库中有events表。我想在Oracle表中插入记录时发送电子邮件通知。我使用的是Tomcat &我没有JMS或任何其他支持。
我需要在接下来的两周半内完成这项工作。
是否可以使用Oracle Advanced Queuing，在该队列中Oracle将来自events表的数据入队？但是我不确定我是否可以用独立的Java程序退出它？
有没有人可以用一个示例向我推荐一些实现这一点的方法？
注意:我只能使用JAVA作为我们的一个要求。
谢谢
浏览 3提问于2011-12-20得票数 0
回答已采纳
好的，我正在编写一个C#脚本，它从Server中提取数据，然后在相同的脚本中将拉出的数据插入到已经生成的表中，以便将所提取的数据放入其中。我想提出一些想法，看看是否有人也会帮助我思考如何做到这一点。
步骤1:创建到ctreeACE数据库的连接
步骤2:将检索到的数据插入正确的表列<- -这是我被困的地方
所以我的一些想法是：
将正在被拖动的实时数据存储到列表中，然后将该列表读入ctree表中。
创建一个for循环，该循环获取正在输入的活动数据，并在它逐行提取数据时插入到表中。
到目前为止，我想为我的想法提供一些反馈！
浏览 3提问于2018-07-23得票数 0
我有一个设备网络，每个设备都有不同的传感器(温度、湿度等)。每个设备每10秒向apache/php/mysql REST API上传原始测量的天气数据。有几个100设备发送数据，随着时间的推移，这将变得更多。目前，数据被添加到mysql表中，无需任何处理。
设备消息的字符串格式类似于：
&01AA*020122#
这意味着传感器01测量AA，传感器02测量0122。
我想把十进制转换的十六进制值放在一个表中，这样就可以进一步处理它们。我现在所做的就是每分钟运行一个脚本，查看向数据库添加了哪些新字符串。然后，我将将这些字符串转换为十进制值，并将它们放入表中。
就性能而言，我觉得每分钟都轮
浏览 0提问于2015-07-03得票数 1
回答已采纳
2回答
我有数据结构(即队列、堆栈或列表)。有无限循环(在线程1中)将对象插入到该数据结构中，还有另一个无限循环(在线程2中)，它从该数据结构中获取对象并对其进行一些处理。我不希望处理循环阻止insert循环。
如何在Java中正确地实现这一点，以便在具有同步和来自两个不同线程的并发读写的两个线程之间共享一个单一的数据结构？java并发API (java 7)中是否有我可以使用的数据结构？是否有解决这个问题的建议？
浏览 0提问于2015-11-30得票数 0
回答已采纳
我有一个Excel2016插件(任务窗格)，可以在工作表中插入大约92000行和100列。所有数据在后台以包的形式进行划分，并以包的形式发送到任务窗格页面。在任务窗格页面上，java script使用带有参数{ delayForCellEdit: true }的Excel.run将每个包中的数据插入到当前工作表中。 所有要插入的数据都是双精度字符串数组 [
["a_1_1", "a_1_2", "a_1_3", ..., "a_1_100"],
["a_2_1", "a_2_2", "a_
浏览 26提问于2019-03-20得票数 0
使用master实现主工作方法的最佳方法是什么？例如，一个java进程(主)将数据放入表中，一个或多个java进程(workers)从表中检索该数据，处理它并更新正在检索的记录中的某些字段。
为了避免sql-server锁，哪种方法更适合实现？
方法1:单个主将数据插入到一个表中，一个工作者检索数据，处理和更新正在检索的记录中的状态标志。
方法2:每个worker都有自己的表，单个主在表中分配数据。每个worker从它自己的表中检索数据，处理它并更新状态标志。
就我所关心的fas而言，没有、没有的方式来执行server，也就是锁定记录的方法。只可能给出一些暗示。如果是的话，第二种做法是否可以接
浏览 3提问于2011-03-24得票数 0
回答已采纳
10回答
我有一个表，它记录字段上的行插入/更新时间戳。
我希望将此表中的数据与另一个db服务器上的另一个表同步。两个db服务器没有连接，同步是一种方式(主/从)。不适合使用表触发器。
我的工作流程：
对于已更改/插入的记录，我使用全局last_sync_date参数和查询表母版
将结果行输出到xml
使用更新和插入解析xml和update表
在处理已删除的主表记录时，问题的复杂性会增加。要捕获已删除的记录，我想我必须为先前插入的记录维护一个日志表，并使用sql "NOT“。在处理大型数据集时，这将成为一个性能问题。
什么是处理此场景的替代工作流？
浏览 5提问于2013-03-05得票数 14
回答已采纳
2回答
我有一个软件系统，可以同时在多台机器上执行OCR。目前的系统工作如下：
所有需要ocr的文档都插入到db中的一个表中。每个客户端ocr机器池该表，每当发现ocr的数据时，它锁定表并选择no。ocr的文件。锁定用于atomicity.After，每个文档都是for的，文档的状态被更新为完整。
我知道，将数据库设置为同步位置是一个严重的错误。它运行得很好，但有时我可以看到数据库上的死锁。
所以我的问题是，有什么更好的方式来设计这样的系统，我希望数据库只是一个存储设备，而不是一个同步的地方。我想听听你的想法。
浏览 2提问于2010-09-29得票数 6
回答已采纳
我有一个系统，用户可以通过这个系统从全球各地的许多站点将数据输入mysql表。
数据通过ajax发布到我的表中，没有问题。但是，如果时间戳在某个时间间隔内，我希望改进插入代码以防止插入。这将清除表中重复的行。
在您生气->之前，我确实理解我可以为某些列设置一个主键，并防止重复插入。
在我的用例中，我需要允许数字数据的复制，如果它是来自唯一提交的->的真正重复的值--这在我的情况下是有效的。我想利用时间戳清除明显的双插入，其中变量是意外提交的两次。
我试着禁用了1-2秒的按钮，但这并没有完全解决问题。
如果我有列：weight、height、country和时间戳，我想以某种方式检查
浏览 0提问于2019-06-22得票数 0
我正在研究Apache (但任何熟悉MySQL的人也可以提供帮助)。拓扑结构如下所示：
单个喷口--发射-->多个螺栓实例
Bolt的每个实例都向表ABC插入一批行。数据库表位于单个服务器上。Bolt实例可以分布在多个服务器上。
目的:通过增加速度实例数来提高程序的规模(即:如果用5根螺栓处理x个数据量并写入MySQL需要1小时，那么使用10颗螺栓大概需要35分钟)。
问题：
不管我使用了多少螺栓，处理时间都会减少，但每个螺栓都必须等待其他n-1螺栓完成插入，然后才能插入(不是因为程序逻辑使其等待，而是因为SQL不允许进程/螺栓写入SQL，而另一个进程/螺栓则写入同一表)。此等待时间不
浏览 0提问于2016-07-25得票数 1
回答已采纳
1回答
在Azure存储中使用队列
、、、、
我试着用AzureStorage.Queue在.NET中解决一个问题。
首先，我有两个项目，一个项目Web，一个WebJob项目。(全部用.NET Core2.2编写)
我的项目API在创建新产品时，它将在Azure中将产品的一个消息存储Id插入到消息队列中(队列名: product )。
同时，在我的项目Web中，当新消息插入到“产品”队列中时，我有一个函数使用[QueueTrigger "product“来侦听新消息。但是我不知道为什么在消息插入到“产品”队列后，我的邮件会自动删除并插入另一个队列名“产品-毒药”？
我使用相同的连接字符串到Azure存储
浏览 2提问于2021-02-02得票数 0
回答已采纳
2回答
我在一个项目中工作，其中Oracle AQ已经实现。在这里，我们有两个队列表，我试图找出数据是如何插入到这些表中的。我确实检查了所有可用的触发器，但没有看到任何触发器将数据插入到该队列表中。
我试着用下面的查询用all_dependencies查找特定的队列表，但不是幸运。
select * from DBA_DEPENDENCIES DD
where DD.referenced_owner = 'XYZ' and
DD.name like 'XYZ' and
DD.type like 'TABLE'
谁能帮助我知道，如何
浏览 0提问于2017-12-11得票数 0
1回答
两个异步数据流同步的设计问题
、、、、
我有两个异步流假设- Trip：{tripId，date，city} Bill：{billId，tripId，date，Bill}。我需要设计一个系统，以获得以下性质的实时聚集视图:城市，TripCount，TotalAmount。两个流中的事件可能不同步或重复。但结果必须准确和实时。
我的解决方案：
1.)创建两个不同的DB表: Trip和Bill (在TripID和BillID上进行索引)。读取流中的消息并在这些表中持久化，状态列在Bill表和Trip表中处于挂起状态。然后编写一个工作人员，它将从账单表中读取，并查看包含给定tripID的记录的Trip表。如果找到记录，它将更新第三个表(C
浏览 0提问于2019-07-20得票数 2
1回答
有可能一个作业被两个不同的侧翼线程处理了两次吗？我正在使用sidekiq异步地将一些分析事件插入到mongodb集合中。我在那个收藏品里看到了大约15件复制品。我的猜测是，两个工作线程同时选择了相同的任务，并将其添加到集合中。
是否确保作业仅由一个线程选择。我们可以忽略重新启动的情况，因为作业很小，并且将在少于8s的时间内完成。
使用sidekiq异步触发分析事件不是一个好的实践吗？我有什么选择？我可以为事件添加一个唯一的键，并在插入之前对其进行检查，以避免插入重复项，但这将添加我从未使用过的数据(+一个开销/查询)(它将累加数百万个事件)。我能否以某种方式确保一个作业只由sidekiq处理一
浏览 3提问于2014-03-11得票数 3
回答已采纳
在我们使用WSO2 ESB(EI 6.1.0)的项目中，我们有一些场景需要并行执行两个任务。
例如，我们有一个在审计表中插入执行步骤的步骤，然后继续执行下一步。
为此，我们使用带有continueParent=true的克隆中介器，在克隆内部，我们具有在数据库中插入审计数据的序列。当我们设置continueParent=true时，下一步不会等待审计插入执行。
这可以很好地工作，但在高负载测试中，我们发现堆变得非常大。
检查堆，我看到了很多克隆中介器的实例，当它克隆上下文时，它会增长很多，并导致OutOfMemory。
我的问题是：
有没有一种方法可以拥有类似的行为而不使用克隆中介器？
谢谢,
浏览 12提问于2018-01-31得票数 0
1回答
我收到了很多来自不同(IOT)设备的数据条目。我需要临时和持久地存储此数据，直到匹配的客户端对其进行轮询，然后将其删除。
这些数据如下所示：
id=1 device=1 key1=value1 key2=value2
id=2 device=1 ...
id=3 device=2 ...
id=4 device=2 ...
id=5 device=1 ...
id=6 device=2 ...
现在，客户端可以为一个或多个设备请求最古老的X记录。因此，例如，如果客户端请求设备1的2个记录，它将接收id 1和2的记录，并将它们从列表中删除。
现在，我正在使用一个MySQL数据库表进行此操作，在该
浏览 0提问于2021-05-26得票数 2
3回答
如果您必须编写代码从消息队列中获取消息并更新数据库中的表，您将如何以一种好的面向对象的方式构建它。你会如何构建它？消息是XML数据，表中每行一个节点。表中的行可以被更新、删除或插入。
浏览 0提问于2008-12-06得票数 0
回答已采纳
我正在尝试弄清楚如何使用Google Cloud Messaging向我的Android应用程序发出推送通知。
我在Google Cloud SQL上有一个MySQL数据库，其中包含一个Cloud Endpoints API，用于与该MySQL数据库进行交互(插入、更新等)。
现在，我想在我的MySQL数据库中创建一个名为“messages”的表，每当有新的消息插入到其中时，我希望通过GCM通知我的Android应用程序。
我知道我需要一个BroadcastReceiver来侦听传入的推送通知，但我不确定我应该在哪里执行代码来发送推送通知(在我的云端点中？)我也不知道GCM如何知道我的mess
浏览 0提问于2015-07-13得票数 0
我有发送数据的DynamoDb表，有一个流正在由lambda处理，它卷起一些统计数据并将它们插入到表中。
我的问题是，我的lambda处理事件的速度太快了，所以几乎每一个插入都被发送回dynamo表，并且将它们插入发电机表中会导致节流。
我得放慢速度！
我已将并发设置为1。
我曾想过只在lambda代码中添加一个睡眠语句，但这将是一个可计费的时间。
我可以推迟兰博达只开始每x分钟一次吗？
浏览 0提问于2019-03-01得票数 2
回答已采纳
1回答
使用队列向表中插入数据
、、、
我使用Laravel队列函数将数据自动插入到数据库表中。如果表中没有记录，数据将自动保存。我的第一步是能够将数据插入到表中，然后只进行验证。然而，我的数据似乎无法插入到数据库中。
我的队列函数
public function save_sale_price_on_the_fly($job, $data)
{
$selling_price = array_get($data, 'price');
$item_id = array_get($data, 'item_id');
$payee_id = array
浏览 5提问于2018-12-17得票数 0
回答已采纳
1回答
我对laravel和php很陌生。我正在解决一个问题，要将一个大数据插入数据库中，这需要很长时间。所以我想把数据分割成块，创建多个线程来插入这些数据块。我正在使用php 7.2.4和我的laravel 5.5。这是我的代码：
$row = 1; $contactNumberList = []; if (($handle = fopen($path . "/" . $fileName . "." . $fileExt ."", "r")) !== FALSE) {
浏览 1提问于2018-09-06得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
云直播活动推荐
腾讯云开发者
