获取python格式的页面URL

文章/答案/技术大牛

发布

2回答

python、url、web-scraping、beautifulsoup

我的问题可能有点奇怪。所以我有一些页面与不同的网址，但都在同一页结束。那么我可以从python中旧URL中获取主URL吗？forms-library-on-isonet/ 两者都会出现在同一页上，即： https://www.verisk.com/insurance/products/iso-forms/ 因此，对于每个URL，我可以使用Python知道最终<em

浏览 21提问于2020-06-19得票数 0

回答已采纳

2回答

在Python中获得JSON响应，但采用原始JavaScript格式

python、json、python-requests

我通过requests.json()将一个JSON响应放入一个变量中，如下所示： response = requests.get(some_url, params=some_params).json()但是，这会将JSON的原始"转换为Python的'，将true转换为True，将null转换为None。当试图将响应保存为文本并将其转换回JSON时，这会带来一个问题--当然，我可以使用.replace()进行上述所有转换，但是即使这样做了，我也会得到其他有趣的json解码器错误。<em

浏览 2提问于2018-11-09得票数 1

回答已采纳

2回答

在Django中填充外键字段

django、foreign-keys、template-inheritance

在我的第一个应用程序(课程)中，我正在创建课程。每门课程都有几个章节，每一章都有测验。我正在尝试使用第二个应用程序(小测验)来创建测试。default=False) answer = models.ForeignKey(QuestionAnswer) 我有创建课程的模板在里面，我有一个链接，为这个特定的章节创建测试。该链接将导致url: / quiz /new (使用来自测验应用程序的url.p

浏览 0提问于2016-05-16得票数 0

回答已采纳

1回答

将括号内的文本提取到熊猫数据中

python、html、pandas、dataframe、web-scraping

我对使用python抓取数据有点陌生，并试图将数据从页面中提取到带有column头的pandas dataframe中，如该页面所示。现在，我有了下面的代码，它允许我从页面中提取数据，但我不太清楚下一步如何以我需要的格式获取数据。import requests url = 'https://mspotrace.org.my/Opmc_list/getCBbyfilters'

浏览 6提问于2019-12-16得票数 0

回答已采纳

1回答

硕士研究生项目未研究数据的数据挖掘

dataset、data-mining、data、research、scraping

因此，我必须开始思考我在数据科学硕士学位(面向商业，尽管我可以选择任何不相关的领域)的最后项目的主题，其中一个要求是挖掘和使用尚未在学术研究环境中进行分析的数据。我倾向于避免典型的从twitter或其他常见的信息资源中刮取数据。如果您能给我一些关于如何找到一个可访问的数据源的想法或指导，我将非常感激，这也不需要太多的时间来获取信息。非常感谢你的帮助！

浏览 0提问于2022-06-17得票数 0

回答已采纳

1回答

Python长时间运行的进程

python

我有一个Python web应用程序，其中一个功能可能需要30秒才能完成。我已经从PHP的cURL请求(包括参数)开始了这个过程，但我不希望用户在Python函数工作的整个过程中一直盯着一个空白屏幕。有没有办法让它在后台处理数据，例如关闭http套接字，允许用户在继续处理数据的同时做其他事情？谢谢。

浏览 5提问于2012-11-16得票数 0

回答已采纳

1回答

Python，请求，error = http.client.BadStatusLine：<ServerStats>

python、python-3.x、python-requests

试图从URL中获取数据，但是请求有问题。我认为这与页面或数据的格式(没有)有关吧？我正在使用Python3.6.5，请求2.20.0r = requests.get('http://37.187.88.24:7141/')它给出了这个错误，并显示了页面的第一行。\Python36-32\lib\http\client.py", line

浏览 3提问于2018-10-26得票数 1

回答已采纳

2回答

如何使用Scrapy抓取具有分页功能的网站？

python、scrapy

我正在尝试爬行一个有分页的网站。如果我点击页面底部的“下一步”按钮，将会生成新的项目。我的scrapy程序不能获取动态数据。有没有办法获取这些数据？下一步按钮的HTML如下所示 <a href="javascript:void(0);" onclick="lazyPagingNew('db')"&g

浏览 1提问于2013-12-04得票数 2

3回答

如何从堆栈交换中的问题中刮取标记信息

python、tags、extract

我的问题是，我想要创建一个数据库，包含所有的问题、答案，最重要的是，标记，来自某个特定的(有点小的)堆栈Exchange。标签之间的关系(例如标签更多地一起使用，有很强的关系)可以揭示社区的结构和在某些子领域的流行程度或兴趣。那么，使用Python查看问题列表(这些问题排名肯定)并提取标记信息的最简单方法是什么？

浏览 1提问于2014-09-03得票数 0

回答已采纳

1回答

如何获取所有Facebook Graph API页面提要？

python、facebook-graph-api、facebook-graph-api-v2.3、facepy

使用Python：key = 'My Access_Token'response = a.get('Page_ID/posts')如果我运行这段代码，它将以JSON格式显示数据！我想从我的页面上获得多年的提要。作为响应，我得到了下一个标签URL:如果我把这个URL放在浏览器中，我可以访问更

浏览 1提问于2016-01-20得票数 3

1回答

如何使用BeautifulSoup抓取网站中的每个页面

python、python-3.x、beautifulsoup

有没有办法抓取URL中的每一个页面？比如在https://gogo.mn/中找到每一篇文章的页面？以下是我到目前为止所掌握的 import urllibimport reurls = [] soup = BeautifulSoup(urlli

浏览 57提问于2020-08-14得票数 0

0回答

使用python 3的url

python、html、python-3.x、networking、ftp

我花了几个小时寻找如何下载文件，向我展示了如何做到这一点；但是cygwin太可怕了，使用起来也很烦人，我正试着在Python3中为一个程序实现它。我尝试过使用urllib、request、wget(在python中)、httplib和其他一些工具。但它只获取重定向的页面(如果您在url栏中粘贴带有正确格式的url的链接，就会得到这样的页面)。不过，当我检查一个页面

浏览 17提问于2017-06-11得票数 0

2回答

从fanfiction.net章节编译一本书的应用程序

gratis、text-processing、ebooks、scraping、parser

需要:软件，可以把一个故事在多个章节张贴到fanfiction.net，然后使它成为一个单一的文本/书。费用:免费输出:不重要。TXT文件或HTML文件或epub或其他标准文本或电子书阅读器可读的内容。(资料来源为未格式化文本)。

浏览 0提问于2015-08-19得票数 1

1回答

登录到安全的网站，自动打印页为pdf

python、selenium、pdf、salesforce、pdfkit

我一直在探索如何使用python登录到一个安全的网站(例如。( Salesforce)，导航到某个页面，并将页面打印(保存)为pdf格式。我试过使用： pdfkit.from_url:使用请求获取会话cookie，解析它，然后将它作为cookie传递到wkhtmltopdf的选项设置中。由于pdfkit无法识别我传递的cookie，此方法无法工作。pdfkit.from_file:使用Request.get获取要

浏览 11提问于2016-11-21得票数 1

2回答

每个urllib.request都会出现UnicodeDecodeError错误

python、utf-8、urllib

当我在Python3中使用urllib来获取网页的HTML代码时，我使用以下代码： request = Request(url)但是，每次都会失败，并显示以下错误： File "/Users/chris/Documents/Code/Python</em

浏览 0提问于2017-05-27得票数 0

1回答

Flask:获取带args的路由的绝对URL

python、flask

我是新来的。我想获取用于JavaScript处理的路由的URL。这是我的路线：@bp.route('/foo/<path:segments>') url_pattern= # here I don't know what to do return re

浏览 2提问于2018-06-27得票数 1

1回答

使用Scrapy抓取1000个站点的更好方法是什么？

scrapy

我想听听3种不同的使用Scrapy的方法之间的差异，以便爬行1000个站点。例如，我想刮掉1000个照片站点，它们都有相同的structure.Like有一种照片列表页面，而另一种大图片页面；但是这些列表或图片desc页面的HTML代码不会完全相同。另一个例子，我想刮1000个wordpress博客，只有博格的文章。第一，是使用一个刮刮项目来探索整个1000个站点。第二，所有这1000个站点都在同一个项目下，所有的项目都在items.py中，每个

浏览 0提问于2015-08-14得票数 0

回答已采纳

1回答

网页抓取-如何通过Angular.js访问以JavaScript呈现的内容？

python、angularjs、web-scraping、beautifulsoup、urllib2

我在试着从公共网站上搜集数据但是当我尝试通过Python的urllib2.urlopen查看这个页面时，div是空的：from bs4 import BeautifulSoup url = 'http://www.asx.com.au/asx/research/compa

浏览 0提问于2016-01-28得票数 26

回答已采纳

1回答

Python从URL下载多个mp4文件

python、python-2.7

我有JSON格式的-request，其中包含很多.mp4文件的URLs，有没有办法使用Python扫描这些URLs并使用循环和urlib下载所有的URLs文件？对于下载一个带有确切网址的文件，下面的代码可以工作，但我的问题是url.json包含100个视频。import urllib urllib.url_retrive("http://example.com/helo.mp4","/

浏览 0提问于2015-12-17得票数 0

2回答

Python除法和浮点数

python

根据Python教程，这里是>>> 17 / 3 # classic division returns a float然而，当我尝试它时，顺便说一下，我在Mac上用的是Python 2.7.10。

浏览 0提问于2016-06-07得票数 0

点击加载更多