问关于在非常大的数据集中快速高效地搜索项目列表的建议/意见

EN

请评论和评论该方法。。

场景：我在一个平面文件中有一个大型数据集(2亿条目)。数据是表格-一个10位数的电话号码，后面是5-6个二进制字段.每周我都会得到一个Delta文件，它只包含对数据的更改。

Problem：给出一个项目列表，我需要知道每个项目(这将是10位数)是否存在于数据集中。

我计划的方法是：

• 将解析数据集，并将其作为DB(将在一周开始时完成)，如MySQL或Postgres。我希望在第一步拥有关系数据库管理系统的原因是我希望拥有完整的时间序列数据。然后，
• 用最新的有效数据从数据库中生成某种键值存储，这些数据支持操作，以确定数据集中是否存在每一项(考虑某种NOSQL，如Redis，用于搜索)。应该具有持久性和可分发性)。这个数据结构将是read-only.
• Query这个键值存储，以确定每个项是否存在(如果可能的话，一次匹配一个值列表，而不是一次匹配一个项)。希望这件事快点爆发。API

将使用此功能作为REST 的后端。

：我最喜欢的语言是。