使用php列出亚马逊S3桶中所有文件的快速方法？
使用php列出亚马逊S3桶中所有文件的快速方法？
提问于 2014-03-04 07:02:10
我有一个亚马逊s3桶，里面有成千上万的文件名。获得所有文件或文本文件列表的最简单方法是列出桶中的所有文件名？
我尝试过使用listObject()，但它似乎只列出了1000个文件。
amazon-s3-returns-only-1000-entries-for-one-bucket-and-all-for-another-bucket-u S3-Provider-does-not-get-more-than-1000-items-from-bucket
-> 使用的清单键但在aws文档中我读过
最大键-字符串-可选-方法调用返回的最大结果数。返回的列表将不包含比指定值更多的结果，但返回的可能较少。默认值是1000。
有什么方法可以将其全部列出并使用AWS ?将其打印到文本文件中吗？
可能重复: quick-way-to-list-all-files-in-amazon-s3-bucket
我重新发布了这个问题，因为我正在寻找php中的解决方案。
代码:
$s3Client = S3Client::factory(array('key' => $access, 'secret' => $secret));
$response = $s3Client->listObjects(array('Bucket' => $bucket, 'MaxKeys' => 1000, 'Prefix' => 'files/'));
$files = $response->getPath('Contents');
$request_id = array();
foreach ($files as $file) {
$filename = $file['Key'];
print "\n\nFilename:". $filename;
}回答 3
Stack Overflow用户
回答已采纳
发布于 2014-03-06 01:27:26
若要获取超过1000个对象，必须使用Marker参数发出多个请求，以告知S3每个请求的终止位置。使用AWS的迭代器特性可以更容易地获取所有对象，因为它封装了发出多个API请求的逻辑。试试这个：
$objects = $s3Client->getListObjectsIterator(array(
'Bucket' => $bucket,
'Prefix' => 'files/'
));
foreach ($objects as $object) {
echo $object['Key'] . "\n";
}使用最新的PHP (截至2016年3月)，代码必须按照以下方式编写：
$objects = $s3Client->getIterator('ListObjects', array(
'Bucket' => $bucket,
'Prefix' => 'files/'
));Stack Overflow用户
发布于 2019-08-01 12:51:20
使用分页器获取所有文件
$client = new S3Client([
'version' => AWS_S3_CLIENT_FACTORY_VERSION,
'region' => AWS_S3_CLIENT_FACTORY_REGION,
]);
$objects = $client->getPaginator('ListObjects', ['Bucket' => "my-bucket"]);
foreach ($objects as $listResponse) {
$items = $listResponse->search("Contents[?starts_with(Key,'path/to/folder/')]");
foreach($items as $item) {
echo $item['Key'] . PHP_EOL;
}
}若要获取所有文件，请将搜索更改为：
$listResponse->search("Contents[*]");Stack Overflow用户
发布于 2014-03-06 06:00:50
下面的代码只是一个窍门，为了解决这个问题，我已经指出了我的CDN bucket文件夹中有很多按字母顺序排列的文件夹( all &all)，所以我发出了多个请求，让它列出所有的文件，
This code is to list mp4, pdf, png, jpg or all files
//letter range a-z and A-Z
$az = range('a', 'z');
$AZ = range('A', 'Z');
//To get the total no of files
$total = 0;
//text file
$File = "CDNFileList.txt";
//getting dropdownlist values
$selectedoption = $_POST['cdn_dropdown_list'];
$file_ext = '';
if ($selectedoption == 'pdf'){
$file_ext = 'PDF DOCUMENTS';
}else if(($selectedoption == 'jpg')){
$file_ext = 'JPEG IMAGES';
}else if(($selectedoption == 'png')){
$file_ext = 'PNG IMAGES';
}else if($selectedoption == 'mp4'){
$file_ext = 'MP4 VIDEOS';
}else if($selectedoption == 'all'){
$file_ext = 'ALL CONTENTS';
}
//Creating table
echo "<table style='width:300px' border='1'><th colspan='2'><b>List of $file_ext</b></th><tr><td><b>Name of the File</b></td><td><b>URL of the file</b></td></tr>";
foreach($az as $value){
$response = $s3Client->listObjects(array('Bucket' => $bucket, 'MaxKeys' => 1000, 'Prefix' => 'files/'.$value));
$files = $response->getPath('Contents');
$file_list = array();
foreach ($files as $file) {
$filename = $file['Key'];
if ( 'all' == ($selectedoption)){
$file_path_parts = pathinfo($filename);
$file_name = $file_path_parts['filename'];
echo "<tr><td>$file_name</td><td><a href = '";
echo $baseUrl.$filename;
echo "' target='_blank'>";
echo $baseUrl.$filename;
echo "</a></td></tr>";
$filename = $baseUrl.$filename.PHP_EOL;
array_push($file_list, $filename);
$total++;
}else{
$filetype = strtolower(substr($filename, strrpos($filename, '.')+1));
if ($filetype == ($selectedoption)){
$file_path_parts = pathinfo($filename);
$file_name = $file_path_parts['filename'];
echo "<tr><td>$file_name</td><td><a href = '";
echo $baseUrl.$filename;
echo "' target='_blank'>";
echo $baseUrl.$filename;
echo "</a></td></tr>";
$filename = $baseUrl.$filename.PHP_EOL;
array_push($file_list, $filename);
$total++;
}
}
}
}
foreach($AZ as $value){
$response = $s3Client->listObjects(array('Bucket' => $bucket, 'MaxKeys' => 1000, 'Prefix' => 'files/'.$value));
$files = $response->getPath('Contents');
$file_list = array();
foreach ($files as $file) {
$filename = $file['Key'];
if ( 'all' == ($selectedoption)){
$file_path_parts = pathinfo($filename);
$file_name = $file_path_parts['filename'];
echo "<tr><td>$file_name</td><td><a href = '";
echo $baseUrl.$filename;
echo "' target='_blank'>";
echo $baseUrl.$filename;
echo "</a></td></tr>";
$filename = $baseUrl.$filename.PHP_EOL;
array_push($file_list, $filename);
$total++;
}else{
$filetype = strtolower(substr($filename, strrpos($filename, '.')+1));
if ($filetype == ($selectedoption)){
$file_path_parts = pathinfo($filename);
$file_name = $file_path_parts['filename'];
echo "<tr><td>$file_name</td><td><a href = '";
echo $baseUrl.$filename;
echo "' target='_blank'>";
echo $baseUrl.$filename;
echo "</a></td></tr>";
$filename = $baseUrl.$filename.PHP_EOL;
array_push($file_list, $filename);
$total++;
}
}
}
}
echo "</table><br/>";
print "\n\nTOTAL NO OF $file_ext ".$total;这只是一个解决这个问题的方法，因为没有AWS API来列出所有的文件(超过1000个)。希望它能帮到别人。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/22165094
复制相关文章
相似问题
腾讯云开发者
