1回答
使用Python进行web抓取:让我的web抓取代码更快？
python、pandas、web-scraping
我想从2个链接刮两个表。我的代码是： import pandas as pdfrom datetime import datetime
def last_row(symbol, name执行代码的秒数。 我想让代码运行得更快(在某种程度上，这不会产生太多不必要的请求)。我的想法是以csv的形式下载表格
浏览 12提问于2021-03-30得票数 0
1回答
Python到PHP异步数据传输
php、python、asynchronous
我有一个建立一个网络刮擦工具的要求。抓取部分将在python中编码，结果将在PHP中显示。结果应该在PHP中异步显示，而python正在抓取页面。
客户认为python是快速和更好的web抓取的选择。您认为混合python和php仍然会带来快速的结果吗?还是坚持使用php进行web抓取
浏览 3提问于2017-05-04得票数 1
回答已采纳
2回答
动态获取urls的python抓取
python、web-crawler、web-scraping
我是数据抓取领域的新手，之前使用python进行web和桌面应用程序开发。我只是在想，如果有任何方法可以从页面中获取urls，然后查看它的具体信息，如电话号码，地址等。目前我使用的是BeautifulSoup和built方法，其中我将urls作为方法的一个参数。
我正在抓取的网站很大，真的很难
浏览 1提问于2011-04-22得票数 2
回答已采纳
1回答
用pyautogui控制鼠标和浏览器实现过程自动化
python、automation、webbrowser-control、pyautogui
我是Python的新手，我想在工作中完成这个项目，我需要专家指导，因为我的同事中没有一个是程序员。
将文本输入搜索标签框或删除搜索标记。对不同的数据拉出、不同的链接和不同
浏览 1提问于2019-12-18得票数 0
2回答
使用Bash脚本在python库上进行web抓取？
python、bash、curl、sed、web-scraping
我正在尝试从有经验的人那里获取更多的信息，一般来说，我正在使用Python库进行web抓取。与此同时，我注意到一些人正在使用simple Bash，并使用wget, curl, sed, grep, awk等命令进行web抓取。与使用Python库进行web抓取</e
浏览 1提问于2017-03-03得票数 0
5回答
如何从其他网站获取数据？
python、database、parsing、web-scraping
我想创建一个网站，从其他网站提取信息，并将它们打印到我的网站上，我正在进行研究，所以我想听取一些意见，这个项目的最佳解决方案是什么？我听说Python使用解析器可以做到这一点，我只是想知道我应该走哪条路，应该使用哪种语言？
浏览 1提问于2013-06-14得票数 4
2回答
在使用Python进行web抓取时，如何使用相同的连接？
python、webkit、screen-scraping
我想定期从网页上搜集一些信息。很可能会让我的IP被禁止。有人建议我使用WebKit (如Ghost.py )来抓取数据，但在浏览器中模拟打开的选项卡使连接保持打开状态。我对WebKit知之甚少，是否有人能为我确认Ghost.py能够重用相同的连接，或者是否有其他更好的建议。
浏览 1提问于2015-08-12得票数 1
回答已采纳
1回答
解析python中的html值
python、html、beautifulsoup
我有以下html： <td> <div style="displaypadding:0px;margin:0px;border:0px;background-color:#f3f3f3" type="submit" value="▾"/
浏览 20提问于2020-12-15得票数 4
回答已采纳
1回答
用Laravel和Selenium进行Web抓取
php、laravel、selenium、web-scraping
我目前正在使用Python进行web抓取。我使用了Selenium和Beautifulsoup库来抓取。我最近知道Selenium适用于php/Laravel。我的问题是，我可以使用Laravel + Selenium web驱动程序抓取web吗？如果是，你能给我提供一些链接或存储库
浏览 19提问于2019-11-19得票数 0
1回答
Python中的Web抓取
python、web-development、scraping
我需要学习高级python编程技能才能使用python进行web抓取吗？或者，我应该看一些关于网络抓取的教程，同时学习使用python。我对python没有任何经验，因为我是Laravel开发人员，这是我第一次在web抓取中做这样的工作。
浏览 0提问于2019-11-04得票数 -1
2回答
解析特定网站数据并将其存储在db表中
asp.net、parsing、web
我想解析来自需要user/pass的站点的表行(当前名称为eg.test)，并将其存储在数据库表中。这可以在asp.net (或asp.net mvc4)中完成吗？*我有用户名/密码*站点登录表单是：
谢谢，
浏览 0提问于2012-05-31得票数 1
1回答
使用Python进行Web抓取
python、urllib2、web-scraping
我正在尝试使用urllib2和BeautifulSoup来抓取网站的urllib2。不幸的是，当我试图通过Python访问页面时，我一直被禁止使用403。我认为这是一个用户代理问题，但改变它没有帮助。然后我想这可能与cookie有关，但是很明显，通过关闭cookie的链接加载页面很好。通过urllib阻塞请求的可能是什么？
浏览 4提问于2011-08-06得票数 2
10回答
使用Python进行Web抓取
python、web-scraping、screen-scraping
我想从网站上获取每天的日出/日落时间。有没有可能用Python抓取web内容？使用了哪些模块？有没有可用的教程？
浏览 2提问于2010-01-18得票数 186
回答已采纳
10回答
使用Python进行Web抓取
python、firefox、webkit、web-scraping
我目前正在尝试抓取一个HTML格式相当差的网站(通常缺少结束标记，没有使用类或it，因此很难直接转到您想要的元素，等等)。到目前为止，我使用BeautifulSoup已经取得了一些成功，但偶尔(尽管很少)，我会遇到一个页面，在这个页面上，BeautifulSoup创建的HTML树与(例如) Firefox或Webkit略有不同虽然这是可以理解的，因为HTML的格式使这种模棱两可，如果我能够得到与Fi
浏览 3提问于2010-03-08得票数 9
回答已采纳
1回答
使用Python进行web抓取
python、translation、wikipedia
我需要在我的python代码中使用一个特定的网站(将英语翻译成我的语言)，而且我也不想在python中使用googletrans，这是大量的数据，所以我需要使用python来快速完成它，是否有任何引用或标题比我能读到的或者是蟒蛇里的医生？谢谢
浏览 3提问于2020-05-12得票数 1
回答已采纳
1回答
如何让django项目点击url的特定标签
python、python-3.x
我正在开发一个使用python和Django的网页抓取代码。我已经提供了所需的url，并且已经获取了数据。但是在url上有一个标签，上面写着“显示更多结果”。如何让我Django项目点击url上的“显示更多结果”选项卡并立即获取新的结果。 我已经使用Beautiful Soup库来进行web抓取</em
浏览 16提问于2021-04-15得票数 0
1回答
使用Python单击Download按钮下载文件
python、python-2.7、download、mechanize
我想下载一个文件，其中没有使用机械的网址。我尝试了.read()，但它给我的是html文件，这是显而易见的。这是我需要发送to> file>访问列表并单击create http://www.ncbi.nlm.nih.gov/sra?term=SRP000714的url文件。
浏览 2提问于2014-09-11得票数 2
1回答
数据挖掘-在终端中挖掘Facebook配置文件和返回数据
python、facebook、access-token、data-mining
我对python编码有点陌生，我有一个项目，我决定编写一些代码，当输入一个Facebook用户URL时，它将返回他们的配置文件必须提供的所有数据。任何帮助都将是非常感谢的，或者如果您有类似的代码，我很想观察。
我正在寻找在python中执行此操作。
浏览 4提问于2022-03-29得票数 -1
5回答
LinkedIn网络抓取
data-mining、social-network-analysis、crawling、scraping
最近，我发现了一个用于连接到新R包 API的LinkedIn。不幸的是，从一开始，LinkedIn API似乎是非常有限的；例如，您只能获得公司的基本数据，这与个人的数据是不同的。我想获取某一公司所有员工的数据，您可以使用在现场手动操作，但是通过API是不可能的。
如果import.io是识别LinkedIn分页，那么它将是完美的(参见页面末尾)。是否有人知道适用于LinkedIn站点当前格式<em
浏览 0提问于2015-05-13得票数 11
回答已采纳
2回答
Python 3 web抓取选项
python-3.x、web-scraping
我是Python的新手，所以很抱歉这是一个新手问题。我想知道这个论坛上有没有人有使用python3
浏览 1提问于2011-08-11得票数 5
云服务器
对象存储
ICP备案
云点播
腾讯会议
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号