腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
蛋未明的专栏
专栏成员
举报
57
文章
102779
阅读量
22
订阅数
订阅专栏
申请加入专栏
全部文章(57)
node.js(15)
其他(13)
java(7)
php(6)
linux(6)
https(6)
html(5)
javascript(4)
express(4)
数据库(3)
编程算法(3)
微信(3)
sdk(3)
.net(2)
css(2)
json(2)
mvc(2)
github(2)
apache(2)
nginx(2)
腾讯云测试服务(2)
人工智能(2)
网站(2)
面向对象编程(2)
npm(2)
数据分析(2)
windows(2)
实践(2)
c++(1)
python(1)
xml(1)
android(1)
django(1)
打包(1)
ide(1)
git(1)
thinkphp(1)
访问管理(1)
http(1)
webpack(1)
存储(1)
开源(1)
压力测试(1)
html5(1)
jvm(1)
hive(1)
dns(1)
asp(1)
大数据(1)
虚拟化(1)
app(1)
dbpedia(1)
im(1)
jsonp(1)
post(1)
prefix(1)
测试工具(1)
产品运营(1)
互联网(1)
跨域(1)
面试(1)
搜索文章
搜索
搜索
关闭
网页实现批量数据导入功能
数据分析
数据库
apache
nginx
大数据
场景 我有一批平铺数据放在txt文件,其量大概在10W条,接下来我们希望将这10W条记录进行切割获取,并且将单条数据分析校验,然后插入到DB中。前提是我们使用的是HTTP文件上传方式来导入数据。现在的问题是:如果用户直接上传,然后我们一条条数据读取、校验并将其插入数据库,这个过程将会耗费非常长的时间(大概在1小时以上),而这么长的时间等待会导致apache、nginx或者浏览器端(一般情况下是60分钟)的超时。那么我们应该如何的解决这个问题呢? 分批次处理 分批次解决办法意思就是
蛋未明
2018-06-07
1.3K
0
没有更多了
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
立即查看
Python精品学习库
代码在线跑,知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档