使用Python抓取网页并写入CSV

文章/答案/技术大牛

发布

1回答

python、web-scraping

我正在尝试抓取我公司的一个网页，并将结果写入CSV文件。我可以使用下面的代码获取我想要的数据： page = requests.get('https://wiki.us.cworld.company.com/display/6TO/AWS+Accounts'confluenceTd"><p>123456757897</p></td><td class=&quo

浏览 14提问于2019-07-02得票数 0

1回答

我有一个问题，我不知道如何从新闻网页上获取新的新闻文章。我用python写了一个抓取器脚本，当我运行它时，它从源(今天发布的运行时间)获取所有新闻，并将它们保存到一个CSV文件中(我保存: URL，标题，日期，时间，图像URL，类别，内容)。当我再次运行脚本时，它会检查CSV文件是否处理了URL，这样它就不会写入重复内容，而只写入新内容。最后，我想将这些结果写入我的数据库。但是使用这个脚本，我必须周期性地运行它(假设每10分钟运行一次

浏览 0提问于2019-12-09得票数 0

1回答

将数据列表添加到CSV文件的单个单元格中

python、python-3.x、csv、beautifulsoup

我试图将列表的内容添加到CSV文件中。首先，我使用BeautifulSoup为第一列的内容抓取网页。然后，我再次使用BeautifulSoup来抓取其余列的内容。file dataWriter = csv.writer(csvfile)dataWriter.writerow([playerName, pla

浏览 6提问于2017-03-21得票数 4

回答已采纳

1回答

如何在每次爬网后阻止scrapy覆盖CSV导出文件

python、scrapy

目前，我使用scrapy抓取一个网页的多个页面，并将数据导出到CSV文件。每天，爬行器都会遍历页面并保存数据；但是，它会覆盖前几天的数据。我想知道如何对管道进行编程，使其只在同一文件中从文件末尾开始写入CSV。通过这种方式，我可以将以前抓取的所有数据保存在一个位置。

浏览 0提问于2012-07-20得票数 0

3回答

无法使用dictwriter在csv文件中写入数据

python、json、python-3.x、csv、web-scraping

我用python写了一个脚本，用它们的api从网页上抓取一些连接到每个item name的item names、estimated time以及reviews、reviewers和rating，并将它们写入问题是我的下面的脚本可以相应地解析数据，但我不能将它们写入csv文件。\AppData\Local\Programs\Python\Python36-32\lib\csv.py", line 155, in writero

浏览 0提问于2018-08-20得票数 0

2回答

处理csv文件中的头文件时出错

python、python-3.x、csv、web-scraping

我编写了一些代码，使用python从网页中抓取一些标题和价格，并将结果写入csv文件。剧本运行得很棒。当我将数据附加到csv文件时，脚本以这样的方式编写头，如果它运行4个循环，那么头将被写入4次。这是一个脚本：import requests diction_page = ['http://www.bloomberg.co

浏览 0提问于2017-10-26得票数 1

回答已采纳

1回答

Scraper仅将数据从上一个URL输出到CSV

python、python-3.x、beautifulsoup

我对Python非常陌生，并试图通过做一些小项目来学习。我目前正在尝试从不同的网页中收集一些信息，然而，每当它将抓取的数据输出到CSV时，它似乎只从最后一个URL输出数据。理想情况下，我希望它能够写入CSV，而不是追加，因为我只想要一个只包含最近抓取的最新数据的CSV。import csvfrom bs4 import BeautifulSoup import pandas as p

浏览 8提问于2019-05-25得票数 0

回答已采纳

1回答

如何在找到的页面上抓取外部链接？

nutch

我使用了从他们的wiki安装nutch的示例。我能够轻松地抓取从dmoz中拉出的多个页面。但是，有没有配置可以抓取它在页面上找到的外部链接，或者将这些外部链接写入下一步要抓取的文件？什么是最好的方式来遵循一个网页上的链接，索引该网页以及与nutch？如果我通过python执行bin/nutch，我能找回它找到的所有外部链接，并创建一个新的爬网列表来再次运行吗？你怎么做？

浏览 1提问于2010-10-26得票数 2

回答已采纳

1回答

如何通过python向服务器提交表单并从服务器获取csv文件？

python、asp.net、csv、post、web-scraping

我需要提交一个表格到服务器，并从服务器获得csv文件通过互联网与python。我想用python自动完成这些手工工作。我研究过python和web抓取，并使用过python模块(如BeautifulSoup)。然而，由于aspx的

浏览 0提问于2014-07-23得票数 1

1回答

如何从相同的元素中获取多个相同的href链接

selenium、selenium-webdriver、web-scraping、beautifulsoup

我正在抓取有关健身课程的数据，并将其写入csv文件。在网页上，我试图抓取班级名称、描述、地址、联系电话、网站和社交链接。我使用的是BeautifulSoup和Selenium。我已经能够使用下面的方法从页面中获得我想要的其他非href数据，即类名、描述等，并写入csv： class_name = classses_soup.find我如何让我的代码抓取</em

浏览 5提问于2020-03-06得票数 0

2回答

将包含ArrayList的对象的ArrayList写入CSV

java、csv、arraylist

我的任务是从网页上抓取数据，并将它们与其他信息一起写入CSV。目前，我使用JSoup来抓取网站，但我的问题是不确定如何将它们写入CSV。我将每个抓取的页面的数据存储在一个名为CSVObject的对象中： public class CSVObject { String title; String ArrayL

浏览 63提问于2019-12-21得票数 0

1回答

Scrapy如何多次编写CSV文件

python、csv、scrapy

我用抓取和python 2.7.9，我的蜘蛛可以正常地爬行数据。我该怎么做？我只能用“蜘蛛”来做吗？或者是在“管道”里？我的代码链接：

浏览 3提问于2015-03-13得票数 0

回答已采纳

2回答

将python脚本打包成可执行文件的最好的用户友好方式是什么？

python、user-interface、scripting

我是python的新手，我正在为一些同事写一个网络抓取脚本，它将从给定的网页上抓取数据，并为他们打包成.csv。打包这个脚本的最好方法是什么，这样他们就可以点击它，然后输入一些搜索词，然后让它运行并生成一个.csv？谢谢!如果需要澄清，请告诉我，这是我的第一个问题！

浏览 41提问于2016-08-18得票数 2

回答已采纳

3回答

无法在csv文件中跨列写入数据

python、python-3.x、csv、web-scraping

我用python编写了一个脚本，从网页中从表中抓取不同的名称和值，并将其写入csv文件中。下面的脚本可以完美地解析它们，但我不能以自定义的方式将它们写入csv文件。这是我的尝试：from bs4 import BeautifulSoup res = requests.get("https://www.bloomberg.com,headers={"User

浏览 0提问于2018-08-25得票数 0

回答已采纳

1回答

从网站提取的值生成.xls文件

python、csv、web-scraping、beautifulsoup

我完全是Python编程的初学者，而且也是Web抓取的新手。为了练习，我试着刮一个网站。import requestsfrom bs4 import BeautifulSoup for i in len(lang): wb.sav

浏览 1提问于2019-03-25得票数 1

回答已采纳

4回答

如何在<a>标签中分离多个吸引子

python、web-scraping、beautifulsoup

我试图抓取一个网页来收集图像名称&它们各自的资产URL，并将它们写入两个独立列中的CSV。我还没能从标签中分离出吸引人。>我尝试过运行以下程序(以及许多其他变体)他们回来了有人知道如何从标签中提取这些数据并写入CSV吗？

浏览 0提问于2018-09-21得票数 1

回答已采纳

2回答

从Windows上的GUI启动两个无限Python脚本

python、windows、user-interface、batch-file

我正在尝试启动两个Python脚本，它们将在无限循环中运行。第一个脚本抓取网页并将其转储到CSV文件中。第二个脚本读取CSV文件，并通过Dash (localhost webserver)将其显示在网页上。到目前为止，我已经尝试过了，它将运行一个脚本，并等待它结束，然后再运行下一个脚本(这对我不起作用)。我已经尝试了一个简单的批处理脚本(我在Windows7机器上)，它具有以下结构： python file1.py & <e

浏览 21提问于2019-09-04得票数 0

回答已采纳

1回答

如何在python中遍历csv文件以编辑存储的URL并将其打开？

python、excel、python-3.x、csv、web-scraping

python是新手，但在C语言方面有大约3+年的业余经验。我在Excel中有一个.csv文件，其中一个列中有大约30个URL，格式如下：如何使用Excel文件中的这些URL遍历列，并编辑字符串以将其转换为如下所示的链接：另外，我可以使用哪个模块打开链接并将其内容(文本)写入到新列中？我知道有很多模块可以抓取文章内容，但我不知道之后如何真正将其写入csv。非常感谢！

浏览 2提问于2018-01-01得票数 0

1回答

wordpress动态csv导入

wordpress、selenium

我是，定期从互联网上抓取的一些数据，并在7/24的计算机上用python代码将其写入csv文件。这个csv文件在我的dropbox文件夹中，所以我可以随时随地用它的dropbox链接检查它。我的意思是，每当我检查我的网页时，我都想看到csv文件中的新数据。选中WP全部导入，但只有pro版本才能从URL和最便宜的pro导入csv文件。是100美元。

浏览 1提问于2021-05-22得票数 0

1回答

如何在CSV中将web抓取输出格式化为表格？

python、web-scraping

://sisweb.tesouro.gov.br/apex/wwv_flow.accept', headers=headers, cookies=cookies, data=data) 我想知道如何将csv

浏览 4提问于2021-01-19得票数 0

点击加载更多