使用grep在S3存储桶上的每个csv文件中搜索文本

文章/答案/技术大牛

发布

2回答

linux、bash、amazon-s3

我在亚马逊网络服务的s3存储桶中，文件夹中有成百上千的CSV。我想列出(即ls)包含我正在查找的文本/单词的CSV文件的名称。aws s3 ls s3://path/folder/ | grep -l 'word&

浏览 70提问于2021-11-23得票数 0

回答已采纳

1回答

如何从本地计算机搜索存储在s3桶中的Json文件？

amazon-s3、grep、command-line-interface

我有数千个json文件存储在我的s3桶中，需要执行grep搜索字符串"name“。1) aws s3 ls s3://training | grep 'name&#x

浏览 3提问于2020-03-26得票数 0

2回答

如何在S3桶中搜索未知文件夹。我的桶里有数以百万计的对象我只想要文件夹列表？

amazon-web-services、amazon-s3

我有一个装有300万件物品的水桶。我甚至不知道我的s3桶中有多少个文件夹，甚至不知道我的桶中文件夹的名称，我只想显示S3的文件夹列表。有什么方法可以得到所有文件夹的列表吗？

浏览 13提问于2022-03-02得票数 0

20回答

如何搜索亚马逊s3存储桶？

amazon-web-services、amazon-s3

我有一个桶，里面有成千上万的文件。如何搜索存储桶？有没有你可以推荐的工具？

浏览 1提问于2011-02-13得票数 180

回答已采纳

1回答

如何从S3拼图中逐行读取文件，逐行过滤并保存到另一个S3存储桶中？

python、amazon-web-services、amazon-s3、pyspark

我有一个存储桶，里面有几个拼花地板文件和数十亿条记录在S3存储桶中。我只有Pyspark (胶水)环境可以做到这一点，所以不能在我的笔记本电脑或EC2 (安全

浏览 1提问于2020-01-22得票数 0

2回答

S3文件下载列表

amazon-web-services、amazon-s3、aws-cli

我们在一个私有的S3桶上有大约40万个文件，这些文件都是入站/出站通话记录。这些文件有一个特定的模式，允许我搜索入站和出站的数字。注意，这些调用位于Glacier存储类上。使用AWS，我可以搜索这个桶和grep我需要的文件。现在我想要做的是启动一个S3</e

浏览 4提问于2017-08-14得票数 0

2回答

挂载S3存储桶和将文件从S3存储桶复制到windows EC2实例，哪个更好？

amazon-web-services、amazon-s3、amazon-ec2

我有一个使用案例，其中CSV文件由服务存储在S3存储桶中。我在windows EC2上运行的程序必须使用转储在S3存储桶上的CSV文件。挂载还是复制，哪种方式会更好的使用文件</

浏览 62提问于2020-09-30得票数 1

1回答

如何从S3中获取一个术语并输出对象名

bash、amazon-s3、grep、command-line-interface、aws-cli

我需要grep在S3中超过数千个文件的术语，并在一些输出文件中列出这些文件名。我使用cli很新，所以我已经在本地和s3中的一个小子集中进行了测试。到目前为止我已经知道了： aws s3 cp s3://mybucket/path/to/file.csv<

浏览 3提问于2017-03-09得票数 0

回答已采纳

1回答

从命令行或程序搜索亚马逊S3存储桶

php、amazon-web-services、amazon-s3、bucket

我需要查看我上传的图像是否正在传输到亚马逊网络服务上的s3存储桶。这个存储桶中有许多文件，滚动到底部将是一种疯狂的时间浪费。显然，AWS界面不提供按日期或任何其他列排序的快捷方式。有没有一种快速的方法可以从命令行或使用PHP脚本在存储桶中搜索特定的

浏览 2提问于2015-11-28得票数 0

1回答

如何通过REST API添加亚马逊S3数据源？

dremio

我在S3存储桶的目录中有CSV文件。我想在Dremio中使用所有文件作为一个表，我认为这是可能的，只要每个文件具有与其他文件相同的头/列。我是否需要首先使用UI添加Amazon S3 data source，或者是否可以使用Catalog API以某种方式将其添加为Source？(我

浏览 13提问于2020-10-23得票数 0

3回答

用于在s3存储桶中搜索文件的AWS CLI

aws-cli

我想在s3存储桶中搜索一个名为abc.zip的文件，它有近60个存储桶，每个存储桶有2到3级子目录或文件夹，.I尝试使用AWS CLI命令执行搜索，下面是我尝试使用的命令，但即使该文件存在于bucket.The中，也不会显示该文件的

浏览 44提问于2018-08-15得票数 9

回答已采纳

2回答

用于将文件从亚马逊EC2上传到S3的Shell脚本

shell、amazon-web-services、amazon-s3、amazon-ec2、jmeter

我在AWS上执行jmeter，其结果以csv文件的形式返回。我需要将此csv文件上传到亚马逊网络服务S3存储桶。由于我要动态创建多个EC2实例并在这些实例上执行jmeter，因此最好将此过程自动化。因此，我想要编写shell脚本(作为用户数据)来执行jmeter，并将结果CSV文件从每个EC2实例上传到S3存储</em

浏览 3提问于2013-04-21得票数 6

1回答

aws-s3存储桶以层次结构格式列出密钥

python、amazon-web-services、amazon-s3、boto3

我正在尝试从托管在亚马逊网络服务上的s3存储桶中下载密钥。密钥只是一些.csv文件。但是这些文件存储在s3存储桶内的子目录中。当我尝试使用s3_client.list_objects-v2(Bucket_name)方法列出特定文件名时，返回的是s3<

浏览 1提问于2018-05-31得票数 1

3回答

使用boto3将csv文件保存到s3

python、csv、amazon-s3

我正在尝试写入CSV文件并将其保存到s3 (exist)中的特定文件夹。这是我的代码：import pandas as pds3 = boto3.resource('s3') df = pd.DataFrame(data=d)

浏览 17提问于2018-01-23得票数 4

回答已采纳

2回答

如何将红移快照从S3移到Glacier？

amazon-web-services、amazon-s3、amazon-redshift、amazon-glacier

我想关闭我的Redshift集群，但希望保留它的备份。我知道我可以创建一个手册快照，它将保存到S3。为了进一步降低成本，我想将快照从S3移到Glacier，但在我的S3帐户中找不到快照。或者我根本没有走上正确的道路，我应该以不同的方式备份我的红移集群吗？谢谢你奥伦。

浏览 4提问于2017-02-01得票数 1

3回答

从R访问S3存储桶

r、amazon-web-services、amazon-ec2、amazon-s3

我已经在亚马逊网络服务上的EC2实例上设置了R。我上传到S3存储桶中的csv文件很少。我想知道是否有办法从R访问S3存储桶中的csv文件。如有任何帮助或建议，将不胜感激。

浏览 3提问于2014-10-09得票数 8

1回答

日期为“通配符参数”的aws cp文件

amazon-s3、command-line-interface

我正在尝试从s3存储桶中复制特定的文件，其中我要查找的文件包含todays作为名称的一部分，例如：我没有该存储桶的列表权限，所以我想知道是否有一种方法可以将日期作为参数传递，并在我的命令中使用它。类似于： aws cp s3://s

浏览 0提问于2018-05-04得票数 0

1回答

如何通过Azure yaml管道将数据从私有S3存储桶复制到Azure Blob存储

amazon-s3、azure-blob-storage、azure-yaml-pipelines

我有一个存储CSV文件的S3存储桶。新的CSV文件会在每月初添加到此存储桶中。我希望在每个月初自动将这些新文件上载到Azure blob存储。我的想法是创建一个脚本(bash/PowerShell)，通过命令将数据从AWS S3存储</em

浏览 4提问于2021-09-28得票数 0

2回答

斯诺管道自动摄取配置看起来会触发所有管道

snowflake-cloud-data-platform、snowflake-pipe

我是雪花数据仓库的新手，我希望使用雪管加载数据，并从外部阶段(S3桶)自动摄取数据，其中包含多个文件夹(每个数据库一个)，在这些文件夹中有多个文件，每个表有一个文件。不同文件夹中的文件将在不同的时间更新，我目前正在使用自动摄取的方式将S3转到SQS到斯诺管道。我的</

浏览 3提问于2020-07-10得票数 0

1回答

借助python脚本在两个EC2实例之间传输文件

python、amazon-web-services、amazon-ec2

我有两个运行Windows10的EC2实例，我需要弄清楚如何将文件从一个实例传输到另一个实例。让我们称它们为prod和dev。我需要在prod中运行python脚本以将文件从prod传输到dev。我不能直接在cmd中运行任何命令，必须通过python进行此传输。有没有办法做到这一点呢？

浏览 1提问于2020-09-14得票数 0

点击加载更多