我可以在Google App Engine上使用Python lxml吗？(或者我必须使用美汤？)
我已经开始使用美汤了，但它似乎很慢。我刚刚开始使用“屏幕抓取”其他网站的数据来创建某种“混搭”的想法。
浏览 1提问于2009-12-13得票数 11
回答已采纳
我正在写代码:我想打开一些已经找到的子页。 import bs4res = requests.get(url)soup = bs4.BeautifulSoup(res.text, 'html.parser')
list_sites = soup.select('a[href]'
浏览 20提问于2021-07-30得票数 0
1回答
我需要学习高级python编程技能才能使用python进行web抓取吗？或者，我应该看一些关于网络抓取的教程，同时学习使用python。我对python没有任何经验，因为我是Laravel开发人员，这是我第一次在web抓取中做这样的工作。
浏览 0提问于2019-11-04得票数 -1
2回答
我是Python的新手，所以很抱歉这是一个新手问题。我想知道这个论坛上有没有人有使用python3进行网络抓取的好选择。
任何建议都将不胜感激
浏览 1提问于2011-08-11得票数 5
什么是最好的工具，可以让这一切尽可能简单？我更喜欢某种类型的Python库，因为我想精通Python，但我对任何建议都持开放态度。
浏览 2提问于2009-05-07得票数 2
1回答
我刚从hostgator那里得到了一个新的主机服务器，它有centOS。现在我有了一个用python编写的从bs4导入BeautifulSoup导入的网页抓取程序请帮帮忙
浏览 0提问于2014-04-08得票数 2
回答已采纳
1回答
我现在开始用漂亮的汤来抓取网站，我想我已经掌握了基本的知识，虽然我缺乏网页的理论知识，但我会尽我最大的努力来表达我的问题。我所说的动态网页是这样的:一个网站，它的HTML会根据用户的动作而改变，在我的例子中，它是可折叠的表格。我想获得一些"div“标签中的数据，但是当你加载页面时，数据在html代码中似乎是不可用<em
浏览 1提问于2016-11-22得票数 4
1回答
我在python和编程方面完全是新手。目前，我正在玩一些漂亮的汤库，我试图从一个网站上提取一些fonds数据。最后，我得到了一个列表，上面有我感兴趣的所有数据(顶级持有量、顶级国家和顶级行业)。对于每个类别，我都有一个列表(或者更好的bs4.element.ResultSet)，如下所示 [<div class="fw--chart fwwBreakdown" data-breakdown=',"data":[0.82]},{"name&q
浏览 14提问于2021-04-06得票数 1
回答已采纳
我正在努力学习美汤。我使用下面的网址来学习。Python模块和HTML文件都保存在同一个文件夹中。文件名= what_is_beautiful_soup_in_python-Google_Sea
浏览 24提问于2020-03-11得票数 1
我遇到了一个问题，当我试图刮一个网站与python包美丽的汤。不知何故，除了我感兴趣的那部分之外，我从它得到了一切。我正在尝试从这个网站的抓取实时数据。我真的得到了除了实时数据之外的每一个部分，我认为它以某种方式连接到了与数据相同的容器中的脚本块。Firefox和Chrome可以很容易地检查这一部分，但美汤不知何故不了解这一点。感谢您的每一条建议！
浏览 15提问于2017-12-21得票数 1
3回答
这在这篇文章中得到了报道：我试着去挖掘以下内容的价值：提取“食物”，提取“商业区的日常菜单”
然后是price city-2和price-city1的值
浏览 0提问于2011-10-25得票数 2
回答已采纳
1回答
处理URL的速度更快Python
、、、、
我需要从网上抓取各种网址，显示拍卖实时价格数据的HTML。我已经有一个预先组装的URL列表来检查，目前，有一个工作脚本。问题是处理时间不是很长(每个URL大约1.5-2秒)。我将selenium与chrome驱动程序一起使用，并将无头运行作为提高速度的一种选择。最大的问题(也是我为什么使用selenium的原因)是我使用的站点有严格的登录安全性(CSRF令牌和验证码)。我不想尝试和寻找周围的登录。相
浏览 0提问于2017-10-30得票数 0
1回答
我曾经尝试过在Python中使用Beautiful Soup从网站抓取数据。当我检查网站本身时，我看到了以下内容：但是当我用美汤的时候，我看到的是：就好像出于安全和保护的目的我认为它是一个动态的</e
浏览 1提问于2015-11-07得票数 2
我试图从whoscored.com抓取足球数据，该网站有一个面向网络的安全封装体，它不让我抓取。最初，我试图提供user_agent，并更改了标题，然后它就起作用了，但这只适用于第一页。由于我需要爬行网站的其他部分，它一直阻止我请求网站。由于阻塞时间一直在增加，它现在变得越来越疲惫。我需要用于研究的数据。我已经看过了所有关于这个话题的老问题。但这无济于事。
工具。anaconda，language <
浏览 3提问于2019-03-29得票数 0
1回答
我试图从下面的站点中提取整个表格，并将其存储为数据帧，但在尝试提取所有标题时遇到错误。该表似乎具有这些属性，因此不确定为什么会发生这种情况。 URL = "http://www.ercot.com/content/cdr/html/real_time_spp"soup = BeautifulSoup(page, "lxml")
tabl
浏览 12提问于2021-10-20得票数 0
1回答
使用美汤抓取数据的问题
、、、
我正在使用下面的代码从一个网站抓取数据。plantype.stripped_strings) print planname, plantype1, price1
问题:如果你浏览这段代码中提到的网页，这些是4-5种类型的计划，每个计划有3个语音选项和一些2-3个数据选项。我希望以这样的方式收集数据，即对于每个计划，我可以获得其各自的语音选项，然后获得这
浏览 2提问于2013-01-14得票数 1
回答已采纳
1回答
JSSoup是否支持提取类似于美汤soup.findAll(text=True)的文本 文档没有提供关于这个用例的任何信息，但在我看来应该有一种方法。为了澄清我想要的是从页面上抓取所有可见的文本。
浏览 19提问于2021-11-20得票数 1
回答已采纳
5回答
LinkedIn网络抓取
、、、
最近，我发现了一个用于连接到新R包 API的LinkedIn。不幸的是，从一开始，LinkedIn API似乎是非常有限的；例如，您只能获得公司的基本数据，这与个人的数据是不同的。我想获取某一公司所有员工的数据，您可以使用在现场手动操作，但是通过API是不可能的。
如果import.io是识别LinkedIn分页，那么它将是完美的(参见页面末尾)。是否有人知道适用于LinkedIn站点当前格式的任何web抓取工具或技
浏览 0提问于2015-05-13得票数 11
回答已采纳
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
