在PHP中解压缩LZO流
在PHP中解压缩LZO流
提问于 2013-12-13 14:29:19
我在Amazon上有许多LZO压缩的日志文件，我想从S3中读取这些文件。AWS为高效读取这些文件提供了一个很好的StreamWrapper，但是由于文件是压缩的，我需要在处理这些文件之前对其进行解压缩。
我已经安装了允许我执行PHP扩展的lzo_decompress($data)，但是由于我处理的是流而不是完整的文件内容，所以我假设需要一次使用一个LZO压缩块的字符串。换句话说，我想做的事情是：
$s3 = S3Client::factory( $myAwsCredentials );
$s3->registerStreamWrapper();
$stream = fopen("s3://my_bucket/my_logfile", 'r');
$compressed_data = '';
while (!feof($stream)) {
$compressed_data .= fread($stream, 1024);
// TODO: determine if we have a full LZO block yet
if (contains_full_lzo_block($compressed_data)) {
// TODO: extract the LZO block
$lzo_block = get_lzo_block($compressed_data);
$input = lzo_decompress( $lzo_block );
// ...... and do stuff to the decompressed input
}
}
fclose($stream);这两个TODO是我不知道该做什么的地方：
- 检查数据流，以确定是否有完整的LZO块。
- 提取这个块进行解压
由于压缩是由亚马逊(s3distCp)完成的，所以我无法控制块大小，所以我可能需要检查传入流以确定块有多大--这是正确的假设吗？
(理想情况下，我应该直接在流中使用自定义StreamFilter，但我还没有找到任何以前这样做过的人)
Stack Overflow用户
回答已采纳
发布于 2013-12-16 13:31:07
通过PHP执行命令可以通过许多不同的方式执行，如下所示：
$command = 'gunzip -c /path/src /path/dest';
$escapedCommand = escapeshellcmd($command);
system($escapedCommand);或者也是
shell_exec('gunzip -c /path/src /path/dest');就能完成任务了。现在是执行什么命令的问题，在Linux下有一个很好的命令行工具lzop，它提取或压缩lzop文件。
您可以通过这样的方式使用它：
lzop -dN sources.lzo因此，您的最终代码可能会很简单，例如：
shell_exec('lzop -dN s3://my_bucket/my_logfile');页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/20568913
复制相关文章
相似问题
腾讯云开发者
