blocks|key|4286257|text|在系统设计方面有多种解决方案。首先，我可以想到的是创建一个表，在那里您可以让id从一个数据库中获取这些数据。一旦获得分页id对两个数据库的查询。在3个查询中，您将获得所需的结果。|type|unstyled|depth|inlineStyleRanges|entityRanges|data|4286258|第二，我可以想到的是基于id进行切分。我不知道您用例是什么，但是如果您想为用户分页。确保在一个数据库中保存了1个用户数据。在这种情况下，您不需要转到第二个数据库进行查询。|4286259|entityMap^0|0|0^^$0|@$1|2|3|4|5|6|7|F|8|@]|9|@]|A|$]]|$1|B|3|C|5|6|7|G|8|@]|9|@]|A|$]]|$1|D|3|-4|5|6|7|H|8|@]|9|@]|A|$]]]|E|$]]

There are multiple solutions when it comes to system design. First I can think of is create a table where you can have id's fetch these from one database. once you get you pagination id's query to both databases. In 3 queries you will get desired result.
Second I can think of is do sharding based on id's. I am not sure what is you use case but if you want to paginate something for user. Make sure you save 1 user data in one database. In this case you dont need to go to second database to make query.

blocks|key|981174|text|简单回答:使用db视图(并考虑物化视图)。|type|unstyled|depth|inlineStyleRanges|entityRanges|data|981175|以system的数据库为例，在数据库上为system构建一个dblink，创建一个连接这两个数据的视图(也考虑物化视图)。如果您有此视图，请在系统A中使用。|981176|如果不能创建dblink，则创建定期读取的etl+(每晚？每小时？(取决于您的需求)，从system，存储在系统A的数据库中的一个表中，然后在系统A中创建一个视图来使用这些数据。|981177|当您拥有一个系统上的所有数据时，您可以考虑内存数据库中的一些数据(如Redis或类似的数据)来存储关键数据，并能够有效地查询这个“大数据”。|981178|开始编码前要考虑的事项：|981179|981180|总是首先考虑为什么这样做和频率:每分钟有多少次，等等。|unordered-list-item|981181|，你有数百万的数据，但是数据增长呢？这个数据在一个月内会变成多少？一年？十年？|981182|不对每个客户端请求执行查询，而是在可能时缓存结果。不是每个客户端请求都应该调用两个数据库，并考虑查询会对sytem+B产生多大的影响(如果这个系统也有一些限制，石灰率限制等等)。)|981183|，也许您不需要所有的数据(比如所有的列)，而是一个数据的子集。不要对任何事情都“加入”，而只是考虑一下你的environment|981184|assume真正需要的是什么--真正需要的是真实世界的数据，不要停止在本地机器上/测试最坏的情况:10倍的数据，10倍的频率requests|981185|consider+--如何记录所有这些信息，以及如何共享这些知识。将一个系统链接到另一个系统总是architecture|981186|中的一个难点。|981187|entityMap^0|0|0|0|0|0|0|0|0|0|0|0|0|0^^$0|@$1|2|3|4|5|6|7|11|8|@]|9|@]|A|$]]|$1|B|3|C|5|6|7|12|8|@]|9|@]|A|$]]|$1|D|3|E|5|6|7|13|8|@]|9|@]|A|$]]|$1|F|3|G|5|6|7|14|8|@]|9|@]|A|$]]|$1|H|3|I|5|6|7|15|8|@]|9|@]|A|$]]|$1|J|3|-4|5|6|7|16|8|@]|9|@]|A|$]]|$1|K|3|L|5|M|7|17|8|@]|9|@]|A|$]]|$1|N|3|O|5|M|7|18|8|@]|9|@]|A|$]]|$1|P|3|Q|5|M|7|19|8|@]|9|@]|A|$]]|$1|R|3|S|5|M|7|1A|8|@]|9|@]|A|$]]|$1|T|3|U|5|M|7|1B|8|@]|9|@]|A|$]]|$1|V|3|W|5|M|7|1C|8|@]|9|@]|A|$]]|$1|X|3|Y|5|6|7|1D|8|@]|9|@]|A|$]]|$1|Z|3|-4|5|6|7|1E|8|@]|9|@]|A|$]]]|10|$]]

Short answer: use a db view ( and consider a materialized view ).
Take database for system A, build a dblink on database for system B, create a view that joins the two data ( consider materialized view too ). If you have this view, use in system A.
If you cannot create a dblink, create an etl that reads periodically ( each night ? each hour ? depends on your requirements ) from system B, store in a table in database for system A and then make a view in your system A to use these data.
When you have all data on one system, you can consider some in memory database (like Redis, or similar ) to store key data and be able to query this &quot;big data&quot; efficently.
Consideration to do before start coding:
<ul>
<li>always consider first why you do this and frequency: how many times each minute, etc..</li>
<li>you have millions of data, but what about data growth ? How much this data will become in one month? One year? Ten year ?</li>
<li>don't do a query each client request, instead cache result when it's possible. Not every client request should call two databases and consider how much your queries will impact on sytem B ( and if there are some limitation on this system too, lime rate limit, etc.. )</li>
<li>maybe you don't want all data ( like all columns ) but instead a subset of data. Don't do a &quot;join&quot; with everything, consider instead only what you really need</li>
<li>test with real world data, don't stop on local machine / test environment</li>
<li>assume the worst: 10x data, 10x frequency requests</li>
<li>consider how do you document all this and how to share this knowledge. Link a system to another is always a pain point in your architecture</li>
</ul>

I am troubling in this issue.
I am having 2 separated systems.
But I need do to a query that need the data from System A to query some data from the System B.
And the data from system B need to paged (20 records per page).
I can do this with with something like get 100 first record in System A then query in system B and maybe it can take 15 record from it then I need to take 100 more in system A to fill for page 1 of system B.
But for the total page I think i need to loop over all record in system A to do that.
I think it's very bad for prod when I have million record in each systems.
Please help me with this issue.
Thanks so much and sorry for my bad English.

Pagination between separated data

翻译质量差，导致语言生硬或混乱。

没有提供实际的解决方法或示例。

解答不清晰，无法理解或解决问题。

页面排版不美观，阅读体验差。

文章

问答

视频

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

我在这个问题上很麻烦。我有两个分离的系统。但是，我需要对一个需要来自系统A的数据的查询来查询来自系统B的一些数据。来自系统B的数据需要分页(每页20条记录)。我可以这样做，比如在系统A中获取100条第一条记录，然后在系统B中查询，也许它可以从系统B中获取15条记录，然后我需要在系统A中多取100条以填充系统B的第1页。...

问分离数据之间的分页
EN

Stack Overflow用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问分离数据之间的分页EN