Docker Scrapy爬行器将数据保存到Postgres端口错误

文章/答案/技术大牛

发布

1回答

python、postgresql、docker、scrapy、port

我正在尝试使用我的抓取程序在VPS服务器上运行。所以我使用了Docker图像，并将其与PostgreSQL，Scrapy，scrapy-splash图像进行了连接。当我使用docker-compose up启动爬行器时，我遇到了一个端口错误，并且爬行器似乎无法识别我的pipelines.py中的self.cur。当我在我的本地pc上运行爬虫时，它运行得很好，没有遇到端口或pipel

浏览 0提问于2018-08-08得票数 1

回答已采纳

1回答

Docker服务需要影响另一个服务的两个副本

docker、docker-compose、scrapy

我的第一个项目是一个使用Scrapy引擎的web抓取项目。在学习了Docker之后，我决定把它分解成容器。我有5个服务，一个用于Scrapyd，它是Scrapy引擎运行的守护进程/服务器，一个用于postgres收集抓取的条目，一个用于轮询postgres查找关键字，以及一个postgres服务。deploy服务等待Scrapyd服务完全启动(通过脚本中的APi调用进行验证)，然后为所有我的爬虫(抓取数据的网络爬虫)构建python蛋文件，并

浏览 24提问于2020-03-14得票数 1

回答已采纳

1回答

将Scrapy指向本地缓存，而不是执行正常的爬行过程

python、web-scraping、scrapy

我使用管道将Scrapy爬行中的文档缓存到数据库中，这样，如果我更改了项目解析逻辑，就可以重新解析它们，而不必再次访问服务器。让Scrapy从缓存中处理而不是尝试执行常规抓取的最好方法是什么？我喜欢scrapy对CSS和XPath选择器的支持，否则我会用lxml解析器单独访问数据库。有一段时间，我根本没有缓存文档并以正常的方式使用Scrapy -即时解析项目-但我发现更改项目逻辑

浏览 1提问于2015-09-05得票数 3

1回答

抓取开机画面设置："SPLASH_URL“

ubuntu、scrapy、scrapy-splash

我的电脑上有一个scrapy spider的工作实例。然后，我将其迁移到我的linux服务器上。爬行器工作得很好，检索结果时不会飞溅。然而，对于相同的网站，当我使用splash ()时，我的爬行器不会检索任何东西，并返回404错误。1)我已经尝试将启动url更改为以下所有内容：SPLASH_URL = 'http:&

浏览 1提问于2017-06-17得票数 1

2回答

使用一个Scrapy爬行器保持数据流的分离

python、python-2.7、python-3.x、web-scraping、scrapy

我想从三种不同类别的合同中搜集数据-商品，服务，建筑。因为每种类型的约定都可以用相同的方法进行解析，所以我的目标是使用单个爬行器，在三个不同的urls上启动爬行器，然后在可以保存到不同位置的三个不同的流中提取数据。我的理解是，仅将所有三个urls作为start_urls列出将导致数据的组合输出。如果您需要

浏览 16提问于2017-03-01得票数 0

回答已采纳

1回答

Docker无法在Travis CI中建立与postgresql的连接

ruby-on-rails、postgresql、docker、travis-ci

我正在尝试将Travis CI集成到rails应用程序中。在我的本地机器(ubuntu，windows)上一切正常，但是在travis主机上有一个连接错误。这是我的配置。创建myapp_postgres_1 无法连接到服务器:服务器是否在主机"postgres“(172.18.0.2)上运行，并在端口5432上接受TCP/IP连接？无法为{“适配器”=>“postgresql”、“编码”“=>”unicode、“数据库”

浏览 0提问于2017-05-10得票数 1

2回答

从Windows主机连接到已停靠的postgres

windows、postgresql、docker

我的安装程序是安装了postgres的Windows 10 Pro机器上的(版本18.09.2) (不是数据库，只有命令行工具)。我从码头枢纽运行官方postgres图像之后我就可以通过 docker ex

浏览 1提问于2019-07-11得票数 3

回答已采纳

2回答

如何在顺序爬行器之间传递数据

python、web-scraping、scrapy、sequential

现在，我想将一些信息从第一个爬行器传递给第二个爬行器( selenium webdriver，或者它的会话信息)。我对scrapy还很陌生，但在另一篇文章中，有人建议将数据保存到db中，并从那里检索数据。对于仅仅传递一个变量来说，这似乎有点太多了，没有其他方法了吗？(我知道在这个例子中，我可以把它变成一个很长的爬行器，但稍后我想运行第一个爬行器一次，但第二个<em

浏览 20提问于2019-10-27得票数 0

回答已采纳

16回答

从外部连接到停靠容器中的Postgresql

postgresql、docker、remote-connection

我在服务器上的docker容器中有Postgresql。我如何从外部，即从我的本地计算机连接到它？我应该应用什么设置才能允许这样做？

浏览 5提问于2016-06-08得票数 353

2回答

错误: P1001:无法到达``localhost`‘：’5432‘的数据库服务器

postgresql、docker、docker-compose、nestjs、prisma

Docker桌面告诉我，数据库在5432端口上运行正常，但我仍然看不到问题。我尝试将connect_timeout=300放到连接字符串中，尝试了许多版本的postgres和docker，但我无法让它工作。我把回购和照片的链接留给你，这样你就可以看到代码的细节了。回购： Docker-compose.ymlservices: image: postgres</e

浏览 8提问于2022-11-14得票数 -1

1回答

将scrapy容器连接到mongo容器

mongodb、docker-compose、scrapy

我正在尝试使用docker-compose旋转并连接两个容器(mongo和scrapy spider)。作为Docker的新手，我很难对网络端口(容器内部和外部)进行故障排除。问题是：无法将爬行器连接到mongo db容器并获得超时错误。我认为我试图从容器连接到的IP地址是不正确的。但是，爬行器在本地工作(非spider版本)，可以将数据传递到正在运行的mongo容器。错

浏览 17提问于2020-12-30得票数 1

回答已采纳

2回答

安装码头数量导致“刮除-无活动项目”。

python、docker、scrapy

我正在编写一个粗糙的python项目，该项目为未来的ML项目废弃数据。/appdocker run -it ufc-stats-scraper scrapy crawl ufc_future_fights -o future.csv下面是我试图使用的命令： docker run -it -v ${PWD}:/app ufc-stats-scraper scrapy crawl ufc_future_fights -o future.csv

浏览 9提问于2022-04-20得票数 0

2回答

混合ecto.create无法连接到Postgres，即使Postgres正在运行并且凭证是正确的

postgresql、elixir、phoenix-framework、ecto

pool_size: 10mix ecto.createlocalhost:blog alex$ mix ecto.create (stdlib) proc_lib.erl:249: :proc_lib.init_p_do_apply

浏览 1提问于2019-07-24得票数 0

回答已采纳

1回答

Docker运行平台+本地Postgres

postgresql、docker、rundeck

我正在尝试运行rundeck的docker镜像，使用PostGres作为数据库。我遇到的问题是将我本地的postgres安装映射到docker rundeck镜像。postgres端口在5432上运行，并已使用netstat确认该端口已打开并正在侦听。rundeck的端口需要在4440上运行。docker容器端口5432？我尝试使用-p 127.0.0.1:5432:5432映射端口</e

浏览 41提问于2019-04-09得票数 0

回答已采纳

1回答

Ansible: docker相关命令在playbook中不起作用，但一旦直接运行就能起作用

bash、postgresql、docker、ansible

我在我的行动手册中有以下任务： - name: install pg_stat_statements extension in the postgres container shell: docker，这个任务似乎就成功完成了，但是如果我检查postgres数据库--它没有任何变化。如果我通过bash在主机上手动运行上述命令，则一切正常，数据库也会更新，如下所示： docker exec octopus_postgres_iaa /bin/bas

浏览 31提问于2019-05-26得票数 1

回答已采纳

1回答

“码头- host.docker.internal”(192.168.65.2)

postgresql、docker、environment-variables

我试图将我的PostgreSql数据库连接到Symfony和Docker中，并得到一个错误：services: image: postgres:$/postgres-data:/var/lib/postgresql/data:rw - db-in-docker -serverVersi

浏览 4提问于2022-05-30得票数 5

1回答

服务器是否在主机"localhost“(::1)上运行，并在端口5432上接受web_1 | TCP/IP连接？

python、django、docker、docker-compose

你好，我在编写Django web应用程序时出现了一个错误，如标题中的错误。我得到了这个错误web_1 | TCP/IP connections我不知道如何解决它，我已经重启了Postgresql数据库和docker，但我没有这些工作。fitshopuser', 'PASSWORD': &#

浏览 0提问于2021-10-10得票数 0

2回答

Scrapy Spider Crawl 0页

python、json、scrapy

我试图用Scrapy从网站中提取json数据，但我遇到了一些问题，比如当我运行我的爬行器时，没有给出错误，并且说爬行了0个页面。我还使用该命令将de输出存储到json文件中，以查看输出。下面的代码是我的爬虫：name = "SpidyWine"url = 'https://m

浏览 1提问于2016-11-05得票数 1

2回答

码头邮政形象:如何限制从主机网络的访问？

postgresql、docker

我在一个定制的码头网络中的一个码头容器中运行一个postgres服务器，我发现我可以从主机上使用psql访问它。从安全的角度来看，这似乎是不可取的，因为我认为码头网络的目的是隔离对容器的访问。我的想法是，我会在同一个码头网络中的一个单独的容器中运行我的应用程序，并且只在应用程序容器上发布端口。这样，应用程序可以从外部世界访问，但数据库不能访问。我的问题是:为什么在没有我明确指定的情况下，5432端口被发布到postgres容器上，我如何“取消”这个端口？还有一个相关的

浏览 3提问于2021-09-16得票数 2

回答已采纳

2回答

使用scrapy将抓取的项目保存到json/csv/xml文件

python、scrapy

我正在从他们的学习(一个网络爬行框架)。通过以下示例和文档，我创建了我的爬行器，以便使用站点地图抓取数据from scrapy.selectorcrawl myspider用于在文件中获取结果的scrapy crawl myspider

浏览 2提问于2014-02-04得票数 4

点击加载更多