我是一个新手，正在建立一个网络刮板，将抓取(并最终出口到csv)所有的英国McDonalds地址，邮编和电话号码。我使用的是聚合器，而不是McDonalds网站。我借用了一些代码并改变了它们的用途：from urllib2 import urlopen
"addressRegi
浏览 1提问于2017-03-07得票数 0
我试图运行一个脚本给我的网站，以刮我的第一个个人项目的曲棍球数据(我是新手，并想开始我自己的项目)。它要求我安装python 3和anaconda。在故障排除和安装之后，我已经获得了运行脚本所需的所有先决条件。第一个搜索显示我使用#!/usr/bin/env python3 import hockey_<
浏览 1提问于2019-08-02得票数 0
回答已采纳
2回答
我正在运行python库中的python脚本，该脚本使用dotenv从库根目录的.env文件中加载一些环境变量。/path_to_venv/activate; python ./path_to_script.py 我得到一个键错误，因为它找不到环境变量。 你知道为什么这不管用吗？ 非常感谢您的帮助！
浏览 74提问于2020-07-03得票数 3
我希望这是一个非常简单的问题:有没有人知道可以有效地抓取使用Microsoft Matrix构建的站点的工具？我可以用python编写代码，但这会花费我很长的时间来完成这项任务，这是因为Matrix生成的HTML非常糟糕和丑陋。我试过Web Harvey、Helium Scraper，也试过Chrome的Web Scraper插件。WebHarvey在超文本标记语言上卡住了，无法加载后续页面。Chrome plugin web
浏览 0提问于2015-07-20得票数 2
1回答
在我的Form1中，我初始化了一个类scraper。在scraper类中有一个函数login。到目前为止，我已经掌握了以下代码：Form1{ scraper.login(conf.= parent;
public void logi
浏览 0提问于2013-08-07得票数 0
回答已采纳
我正在尝试学习如何使用Selenium自动化web流程，并希望能够构建健壮的web抓取器和其他东西。我的代码如下(当然是用Python编写的)
driver__init__(
File "/Users/Kudzie/PycharmProjects/
浏览 31提问于2021-05-18得票数 0
回答已采纳
3回答
我是一个尝试用我的python3代码使用Docker的初学者。这是我的Dockerfile我得到了这个错误：
manifest for rdempsey/python-scraper:latest no
浏览 9提问于2017-05-10得票数 1
我有一个web刮刀脚本，它在我的(Windows) PC上运行良好，但我试图让它从一个(Linux) web服务器上运行。)
File "/home/jken/virtualenv/web-scraper/3.6/lib/python3.6/site-packages/urllib3/connectionpool.py"/home
浏览 3提问于2019-03-31得票数 8
我要去：当我获得git状态时，没有添加任何内容：On branch python (use "git add <file>..." to include in what will什么都不加！如果我列出目录aws_ec2_list_instance
浏览 3提问于2019-12-18得票数 2
回答已采纳
每当我在终端中打印被刮过的数据时，它都会显示被刮过的数据，但是每当我尝试使用Python提供数据时，我使用的HTML模板就不会在web浏览器中呈现数据。如果你能帮我修复这段代码。Python (水瓶)文件：from bs4 import BeautifulSoup as BS
import requestssrc = requests.get('https://webscraper.netlify.app&#x
浏览 16提问于2022-02-09得票数 -1
1回答
我想使用Python 3创建一个web抓取应用程序。我正在努力刮的网站包含无效的xhtml，因为它有带有重复属性名的标记。 scraper.list() dom = parseString(response.text)
File我无法控制待定的html数据。我</e
浏览 4提问于2015-08-09得票数 2
回答已采纳
我在我的Raspberry PI上运行Ubuntu Mate。我用Python编写了一个web 刮板，我想每天运行一次。我认为使用sudo crontab -e是一种很好的方法。我遇到的问题是，当cronjob启动我的python脚本时，python脚本抛出一个导入错误而不运行。但是，当我从命令行直接执行python脚本时，它将运行而不会出现问题。为了测试目的，现在我</e
浏览 1提问于2017-03-18得票数 0
回答已采纳
我有一个类似于此的文件夹结构(我的示例包含所有必需的部分)： scraper.py __init__.pyimport config
# Do some web stuff...但是，当我运行scraper</em
浏览 2提问于2021-01-09得票数 0
pip一切顺利 from facebook_scraper impor
浏览 27提问于2022-08-19得票数 0
回答已采纳
我目前正在创建一个Django应用程序，它应该一启动就运行web抓取代码，然后通过REST对请求进行响应。article_link" FROM "scraper_article"
web_1 | /usr/local/lib/python3.7/site-packages/psycopg2/__init_article_link" FROM "scraper_arti
浏览 0提问于2018-10-12得票数 0
回答已采纳
我要疯狂地尝试从我的主机添加一个目录到我的码头容器。当使用docker构建容器时，它似乎添加得很好，但是当我尝试访问app.py文件中的模块时，我得到了ModuleNotFoundError。我的DockerFile包含以下内容： apk add --virtual build-deps gcc/testmodel
WORKDIR home/scraper
浏览 1提问于2019-03-31得票数 0
回答已采纳
我一直在做一个I/O绑定的应用程序，这是一个网络爬虫新闻。我有一个文件启动脚本，我们可以称之为"monitoring.py“，通过选择我想要监视的新闻公司，我添加了一个参数，例如，monitoring.py --company=sydsvenskan，它将触发悉尼文斯坎网络爬行，我不知道是否更好地添加静态进口的所有商店，我将在未来将监测(这可能是多达40家新闻公司)，或者是否更好地使用动态导入，只进口我们调用的参数。(我确实认为，如果我</e
浏览 2提问于2021-06-06得票数 0
回答已采纳
我想将使用python的image_scraper库刮过的图像保存到我当前的工作目录中。我该怎么做呢？我试过了，但屏幕是打印(0,0)。那是什么。我的密码是。import image_scraper
image_scraper.scrape_images("http://womaura.com/wp-content/uploads/2016/12&
浏览 2提问于2017-07-26得票数 0
回答已采纳
我已经设置了我的PYTHONPATH变量，并将它作为%PYTHONPATH%添加到path中，但没有成功。我检查了bashrc，没有看到环境变量被覆盖。也许我的结构不正确？lib -scripts - monroes_events.py
(venv) C:\Users\James\repos\web_scraper\src>bash web_scraper_setup.
浏览 0提问于2019-12-02得票数 0
5回答
我已经制作了一个Scrapy爬行器，可以从位于项目根目录的脚本中成功运行。由于我需要从同一脚本运行来自不同项目的多个爬虫(这将是一个django应用程序根据用户的请求调用脚本)，因此我将脚本从其中一个项目的根目录移动到父目录。或者需要对这段代码做一些补充？下面我还有运行蜘蛛的脚本代码，谢谢。from ticket_city_scraper.ticket_city_scraper import *
from ticket_city_scraper.ticket_city_
浏览 2提问于2015-07-28得票数 15
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
