哪个数据库要存储非常大的嵌套Python dicts？
我的脚本以下列格式生成数据：
dictionary = {
(.. 42 values: None, 1 or 2 ..): {
0: 0.4356, # ints as keys, floats as values
1: 0.2355,
2: 0.4352,
...
6: 0.6794
},
...
}其中：
(.. 42 values: None, 1 or 2 ..)是一个游戏状态- 内部dict存储在该状态下可能发生的操作的计算值。
问题是状态空间是非常大的(百万状态)，所以整个数据结构不能存储在内存中。这就是为什么，我正在寻找一个符合我的需要的数据库引擎，和我可以用它。我需要获得给定状态下的操作及其值的列表(前面提到的是42个值的元组)，并在给定状态下修改给定操作的值。
回答 4
Stack Overflow用户
发布于 2015-12-27 21:28:29
您可以使用键值缓存解决方案。Redis是一个很好的例子。它非常快速和简单，写在C上，而不仅仅是一个键值缓存。与python的集成只需几行代码。对于真正的大数据来说，redis也可以很容易地进行缩放。我在游戏行业工作，明白我在说什么。
此外，如前所述，您可以使用更复杂的解决方案，而不是缓存，即数据库PostgresSQL。现在它支持JSON二进制格式字段- JSONB。我认为最好的python数据库ORM是SQLAlchemy。它支持开箱即用的PostgresSQL。我将在我的代码块中使用这个。例如，您有一张桌子
class MobTable(db.Model):
tablename = 'mobs'
id = db.Column(db.Integer, primary_key=True)
stats = db.Column(JSONB, index=True, default={})如果你有一群拥有这样的数据的暴徒
{
id: 1,
title: 'UglyOrk',
resists: {cold: 13}
}你可以搜索所有的暴徒与不折不扣的寒冷抵抗。
expr = MobTable.stats[("resists", "cold")]
q = (session.query(MobTable.id, expr.label("cold_protected"))
.filter(expr != None)
.all()) Stack Overflow用户
发布于 2015-12-27 23:04:13
查看ZODB：http://www.zodb.org/en/latest/
它支持事务、缓存、可插层、打包操作(用于保存历史)和BLOB。
Stack Overflow用户
发布于 2015-12-28 00:51:51
我建议您使用HD5f。它是一种与Python完美地工作的数据库格式(它是专门为Python开发的)，并以二进制格式存储数据。这在很大程度上减少了要存储的数据的大小！更重要的是，它为您提供了随机访问的能力，我认为它为您的目的服务。此外，如果不使用任何压缩方法，则将以尽可能高的速度检索数据。
https://stackoverflow.com/questions/34483567
复制相似问题
腾讯云开发者
