腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

蛋未明的专栏

专栏作者

57

文章

99057

阅读量

22

订阅数

网页实现批量数据导入功能

数据分析数据库 apache nginx 大数据

场景我有一批平铺数据放在txt文件，其量大概在10W条，接下来我们希望将这10W条记录进行切割获取，并且将单条数据分析校验，然后插入到DB中。前提是我们使用的是HTTP文件上传方式来导入数据。现在的问题是：如果用户直接上传，然后我们一条条数据读取、校验并将其插入数据库，这个过程将会耗费非常长的时间（大概在1小时以上），而这么长的时间等待会导致apache、nginx或者浏览器端（一般情况下是60分钟）的超时。那么我们应该如何的解决这个问题呢？分批次处理分批次解决办法意思就是

2018-06-07

1.2K0

文章数据分析使用

数据分析 java https

</style><script type="text/javascript"> var _gaq = _gaq || []; _gaq.push(['_setAccount', 'UA-28161045-1']); _gaq.push(['_trackPageview']); (function() { var ga = document.createElement('script'); ga.type = 'text/javascript'; ga.async = true

2018-06-07

6210

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态