我工作的公司正在运行一个C#项目,该项目从大约100个网站抓取数据,将其保存到数据库中,并对这些数据运行一些程序和计算。
这100个网站中的每个网站都有大约10,000个事件,每个事件都保存到数据库中。
在此之后,将生成保存的数据并将其聚合到一个大的xml文件中,因此,保存的10,000个事件中的每个事件现在都在数据库中显示为一个XML文件。
这个设计看起来是这样的:
1) crawling 100 websites to collects the data and save it the DB.
2) collect the data that was saved to the DB and