我希望从MySQL数据库更新我的Cassandra数据库。
目前,这个过程大约需要8个小时。我遵循的流程是:
Make all possible queries in MySQL, update the data received into Cassandra
附言:还有什么方法可以更好、更快地做到这一点呢?(我不想使用Hive)
我有几个表,1个联系人和多个数据
Contacts有一个ID字段和一个Name字段,data有一个名为Contacts的字段(以及其他字段)。
例如,联系人
ID - Name
1 - James
2 - Mark
3 - Doug
例如,数据
ID - Contacts - Data
1 - 1,3 - more data
2 - 2 - more data
3 - 2,3,1 - more data
显然,逗号分隔的数字链接到contacts表中的几个人。如何将逗号分隔的列表转换为人名?标准的left join不起作用。
有没有一种方法可以在原始查询中做到这一点,或者我是否必须在原始whi
我有这样的数据层次结构:
Country
-President // A Person
--Central
---Prime Minister // A Person
----State
-----Chief Minister // A Person
------District
-------District Minister // A Person
--------Area
---------Area Minister (AM) // A Person
所以,基本上,我想在这里做的是,我想要Focus on Area Minister。因为他将是我申请的灵魂。其他只是等级制度的一部分。因
“customer_data”表:
id - int auto increment
user_id - int
json - TEXT field containing json object
tags - varchar 200
* id + user_id are set as index.
每个客户(user_id)可能有多个行。"json“是文本,因为它可能很大,有许多键,也可能不太大,很少有包含短值的键。我通常为user_id搜索json。
问题:超过10万行,完成查询要花费很长时间。我知道文本字段非常浪费,mysql没有很好地对它们进行索引。
修正1:将"json