使用批处理导入Web大容量数据(百万)
使用批处理导入Web大容量数据(百万)
提问于 2015-08-21 14:53:08
我需要导入数以千计的json数据(从ui中发布) .From ui，这些数据将以json的形式发布到webapi。
我想遵循下面提到的技术设计步骤
1.将json数据保存到服务器位置上的文件中(.json)，并在具有新状态的数据库表中创建条目json文件路径。
2.开发窗口服务作为后台服务，获取json文件，验证json数据并导入数据库表.While处理，状态为InProcess。在处理数据时，我将使用并行任务库创建1000条记录的批处理
3.成功后的加工状态将处于完全状态。
这是处理数据的最佳方法吗？
是否可以使用一些模式来验证json？多么?
在处理、确认json的大小、特殊的宪章等时，我需要注意什么？
回答 1
Stack Overflow用户
回答已采纳
发布于 2015-08-22 01:02:23
在这里，我对你的问题的看法：
- 如果是一个大文件，那么在后台进行批处理是一个很好的选择，因为在处理数据时不会阻止用户UI。
- 您可以像您说的那样使用Windows服务进行处理。不过，我建议您检查一下汉火。它认为这可能是一个很好的选择，你的方案，但你必须看到它和决定。
- 注意使用PTL (并行任务库)。如果您没有良好的实践，您可能会得到一个更糟的结果，使用一个单一的过程。看看这个建议链接。
- 检查另一个关于Json模式验证的链接。
- 最后但并非最不重要的是，评估当进程完成时通知您的用户是否会很好。可能是UI中的通知或电子邮件。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/32143467
复制相关文章
相似问题
腾讯云开发者
