在S3中获得了11个S3 json文件。
试着爬到AWS胶水上把它们分类。
JSON文件详细信息:
每个文件大小从250 2MB到2MB未压缩。
日志:
BENCHMARK : Running Start Crawl for Crawler impall
ERROR : Internal Service Exception
BENCHMARK : Crawler has finished running and is in state READY
在处理那些巨大的文件时,我是否遗漏了任何步骤?
可能重复:
我有上传图像的表单,我测试,如果我上传图像,其中有9 mb大小,php返回错误:
POST Content-Length of 10194008 bytes exceeds the limit of 8388608 bytes in Unknown on line 0
我希望不要上传超过2MB的文件,在第一行中我有以下代码:
if (!empty($_FILES['main_photo']['name'])) {
if ( $_FILES['main_photo']['size'] > 10
在将文件上传到S3之前,我希望读取文件的大小,以检查是否有足够的可用存储空间。下面的代码可以工作。但是,当文件上传到S3时,该文件是空的。如果我删除检查文件大小的部分,它将被正确上传。还有其他方法来获取文件大小吗?该文件来自HTML页面的上传表单,我直接将其上传到S3,而不首先将其保存到服务器。
availablestorage = getavailablestorage() #gets the available storage in bytes
latestfile = request.files['filetoupload'] #get the file from the