将亚马逊网络服务S3连接到数据库PySpark

文章/答案/技术大牛

发布

1回答

我是否可以使用VPC端点从我的账户ec2连接到不同的账户亚马逊网络服务(s3、dynamoDb)？

amazon-web-services、amazon-s3、amazon-ec2

我是否可以使用VPC端点从我的账户ec2连接到不同的账户亚马逊网络服务(s3、dynamoDb)？

浏览 0提问于2018-10-31得票数 2

2回答

python、amazon-s3、pyspark、databricks

我正在尝试使用databricks pyspark连接和读取s3存储桶中的所有csv文件。当我使用一些我有管理员访问权限的存储桶时，它可以正常工作但是当我尝试连接到某个需要ACCESS_KEY_ID和SECRET_ACCESS_KEY的存储桶时，它将无法工作，访问被拒绝：data_path = 's3://myda

浏览 24提问于2019-11-04得票数 0

回答已采纳

1回答

将AWS Glue连接到内部部署MySQL时出现问题，是AWS VPC吗？

mysql、amazon-web-services、aws-glue、amazon-vpc、google-data-studio

我在一个托管在亚马逊网络服务之外的私有Ubuntu实例上运行MySQL。我在S3存储桶中有几个CSV文件，我想使用AWS Glue ETL加载到我的MySQL数据库中。我实际上是在遵循这个指南，他们使用AWS胶水连接将S3连接到本地PostgreSQL。/etc

浏览 51提问于2020-02-06得票数 1

1回答

使用EC2网关在本地将亚马逊网络服务EC2连接到Google Cloud SQL实例

amazon-web-services、google-cloud-platform、google-cloud-sql、google-cloud-vpn、aws-vpn

我有一个亚马逊网络服务账户，里面有一个EC2，我正在尝试连接到Google Cloud Platform中的Cloud SQL Server (MySQL 5.6)。我已经成功地在亚马逊网络服务和GCP之间建立了虚拟专用网，并且可以在亚马逊网络服务上的ec2和GCP上的虚拟机之间通过nc回显消息。由于GCP管理的数据库不会放在我选择的VPC中，因此我遵循指南，为该数据库提供了一个私有IP，然后将其与我的google VPC进行了比较。

浏览 12提问于2020-02-24得票数 2

回答已采纳

3回答

从MarkLogic8.0.6中提取数据到亚马逊网络服务S3

amazon-s3、marklogic、marklogic-8

我需要从Marklogic中提取大量数据，并将它们存储在亚马逊网络服务S3中。我们尝试在本地运行"mlcp“，然后他们将数据上传到AWS S3，但速度非常慢，因为它会生成大量文件。我们的Marklogic平台已经连接到S3来执行备份。有没有办法在亚马逊网络服务s3中提取特定的数据库？谢谢，罗曼。

浏览 20提问于2017-01-21得票数 1

1回答

从EC2 VPC内上传到S3

ruby、amazon-web-services、amazon-s3、amazon-ec2、amazon-vpc

如果我们从我们的AWS VPC中将文件上传到S3，除了通过标准URL上的S3应用程序接口启动上传之外，我们还需要做什么特殊的事情吗？

浏览 0提问于2013-04-23得票数 1

回答已采纳

1回答

如何通过应用编程接口和Python代码将数据从Snowflake数据库或AWS S3导入到Salesforce沙箱中？

python-3.x、salesforce、sandbox、snowflake-cloud-data-platform、salesforce-service-cloud

我想使用Python将数据从Snowflake数据库(或AWS S3)加载到Salesforce沙箱中。您能告诉我从亚马逊网络服务EC2实例连接到Salesforce沙箱的任何方法吗？

浏览 16提问于2019-11-11得票数 0

3回答

尝试将数据上传到AWS-S3时，rails 3出现管道断开错误

ruby-on-rails-3、amazon-s3

我正在尝试将一些静态数据上传到我的亚马逊网络服务s3帐户。为此，我使用了aws/S3GEM。我在我的网页上有一个简单的上传按钮，它点击控制器，它创建亚马逊网络服务连接，并尝试上传数据到亚马逊网络服务S3。连接到亚马逊网络服务是成功的，然而，当尝试在S3中存储数据时，我得到了以下错误: Errno::EPIPE:Broken“...always。我尝试从s

浏览 1提问于2011-08-10得票数 0

1回答

图像存储技术

php、mysql、image

大约8年前，我们习惯于将图像存储在数据库中。Pros : Can be accessed from all the application server大约5年前，在nginx规则的帮助下，我们将图像作为文件存储在六个应用服务器中的一个服务器上Fast access 注意:我们会在一段时间后将镜像移动到普通镜像服务器。我们不会立即移动，因为我们不想在该服务器上回复，这也会增加用户上传时间。

浏览 3提问于2017-05-08得票数 2

2回答

没有用于方案的FileSystem :带有pyspark的s3

python、python-2.7、apache-spark

我试图用Spark从S3中读取一个txt文件，但我得到了他的错误：这是我的代码：conf = SparkConf().setAppName("first")data = sc.textFile("s3这是完整的回溯： An error occurred while calling o25

浏览 1提问于2017-10-14得票数 18

回答已采纳

2回答

亚马逊S3传输加速如何加速S3文件传输？

amazon-web-services、amazon-s3

我不清楚亚马逊S3传输加速是如何加速S3文件传输的。假设us-east-1中有fileA，英国的用户A，并且有到该fileA S3端点的链接。下面是我对它的工作原理的理解：在启用亚马逊S3传输加速后，用户A会点击指向fileA的链接，这可能需要7秒钟。我不清楚亚马逊是如何实现时间的缩短的。它仍然必须从桶中到达用户，并通过公共

浏览 10提问于2020-07-13得票数 0

1回答

50 of表夜间备份时AWS网络流量阻塞

networking、amazon-s3、amazon-ec2、amazon-rds

我们将RDS mysql的备份下载到AWS实例，然后上传到S3。在要备份的主机上的数据库中只有一个50 DB的表。当这个过程开始时，我们的其他亚马逊网络服务实例上的网络流量就会挂起(从字面上看，网络绑定的进程似乎在写入基于亚马逊网络服务的RabbitMQ交换时被阻塞，或者在对同一RDS DB的单个sql更新时被阻塞当数据库备份完成将自身存档到S3时，受网络限制的进程将继续执行，不会出现错误。非网络应用不会挂起。大多

浏览 0提问于2018-07-06得票数 1

1回答

将内容上传到亚马逊云服务并通过S3提供内容

java、spring-boot、amazon-s3、amazon-cloudfront

我需要上传静态内容，如图片到亚马逊S3，并提供一个链接，以便图像可以通过云前线CDN (内容分发网络)访问。我是亚马逊网络服务的新手，我读到s3存储桶链接到CDN，我相信它都是基于配置的。从java代码中，我可以上传到s3，并获得基于存储桶的url。如何从java代码中检索同一张上传图片的CDN url。你能帮我个忙吗。

浏览 15提问于2020-06-11得票数 0

2回答

使用亚马逊网络服务数据管道将数据从PostgreSQL复制到S3

amazon-web-services、amazon-rds、aws-data-pipeline

我正在尝试将模式中的所有表(PostgreSQL、50+表)复制到亚马逊S3。做这件事最好的方法是什么？

浏览 11提问于2019-03-29得票数 0

2回答

从Glue Catalog和Glue Py Spark脚本中的动态路径同步CSV文件

amazon-web-services、amazon-s3、pyspark、aws-glue

我每天都将CSV文件存储在亚马逊网络服务s3中。下面是我的S3文件路径结构：在此结构中，将每天生成s3文件路径的日期部分。现在我想使用AWS glue for ETL将数据从S3传输到Redshift。要使用它，我如何在数据目录中添加S3路径？我只想同步最近使用的文件

浏览 1提问于2019-09-19得票数 0

2回答

aws证书可在安装在EC2中的容器中工作

amazon-web-services、docker、aws-cli

我有一个IAM角色，当连接到EC2实例时，我可以使用"AWSCLI S3“命令，如: aws s3 ls，aws s3 cp s3://path等。现在已经在该EC2实例中安装了Docker。找到以下答案:在启动container.But时将环境变量与亚马逊网络服务密钥一起使用这可能存在安全风险，因为亚马逊网络服务密钥可能是可见的。请求您以更安全的方式对此提出建议

浏览 23提问于2020-01-19得票数 0

回答已采纳

1回答

有没有办法在Heroku private Space和亚马逊网络服务S3之间建立私人连接？

amazon-web-services、security、heroku、amazon-s3

有没有办法私下(而不是通过互联网)从Heroku Private Space访问S3？使用私有空间对等和HTTP代理不是一种选择。

浏览 13提问于2019-06-26得票数 2

回答已采纳

1回答

使用Lambda将S3数据从一个亚马逊网络服务账户推送到另一个S3存储桶

amazon-web-services、amazon-s3、aws-lambda

我的用例是不断地将数据从一个亚马逊网络服务账户S3桶推送到另一个亚马逊网络服务账户S3桶。跨账号推送。我正在使用lambda来完成这项工作。假设在亚马逊网络服务账户A中，数据经常从某些来源落地到S3存储桶中。我需要创建一个S3触发器，它将调用亚马逊网络服务账户A中的Lambda函数，并将账户A的S3存储桶数据推送到亚马逊<em

浏览 1提问于2019-06-11得票数 0

1回答

如何将所有资源/堆栈复制到另一个aws账户？

amazon-web-services、amazon-s3、amazon-ec2、amazon-cloudformation

是否有将aws帐户复制到其他帐户的最佳实践？

浏览 1提问于2017-07-24得票数 0

3回答

限制只有注册用户才能访问亚马逊S3静态网页

php、amazon-web-services、amazon-s3

每本电子书都以静态超文本标记语言网页的形式存储在亚马逊S3上，该网页还链接到许多CSS、JS和字体文件。我希望能够限制对此文件的访问，以便只有我的数据库中的特定注册用户可以访问它。亚马逊的S3权限属性似乎只允许访问特定的亚马逊网络服务账户、IP地址或完全公开。因此，很明显，我可能不得不在应用程序端做一些工作。我如何限制对亚马逊S3静态网页的访问，以便只有我的数据库中的特定注册用户才能访问它

浏览 0提问于2017-11-03得票数 0

点击加载更多