在Google App Engines中,如何在Python中显示已获取URL的页面的HTML源代码？
在 Google App Engine 中，要在 Python 中显示已获取 URL 的页面的 HTML 源代码，可以使用 urlfetch 库来发送 HTTP 请求，并使用 BeautifulSoup 库来解析 HTML 源代码。以下是一个示例代码：
import urlfetch
from bs4 import BeautifulSoup
url = "https://example.com"
# 使用 urlfetch 库发送 HTTP 请求
result = urlfetch.fetch(url)
# 检查请求是否成功
if result.status_code == 200:
# 使用 BeautifulSoup 库解析 HTML 源代码
soup = BeautifulSoup(result.content, "html.parser")
# 输出 HTML 源代码
print(soup.prettify())
else:
print("请求失败，状态码：", result.status_code)在这个示例代码中，我们首先使用 urlfetch.fetch() 函数发送一个 HTTP GET 请求到指定的 URL，然后检查请求是否成功，如果成功，我们使用 BeautifulSoup 库来解析 HTML 源代码，并使用 prettify() 函数将其格式化输出。
需要注意的是，在 Google App Engine 中使用 urlfetch 库需要在 app.yaml 文件中添加以下配置：
libraries:
- name: urlfetch
version: "2.0.2"这样才能使用 urlfetch 库。
相关·内容
2回答
拆分字符串时代码丢失
python、google-app-engine、encoding、utf-8、urlfetch
编辑过的
我正在使用Google App Engine，我正在尝试解析HTML内容，以便提取一些信息。我使用的代码是：
from google.appengine.ext import webapp
from google.appengine.ext.webapp import util
from google.appengine.api import urlfetch
import BeautifulSoup
class MainHandler(webapp.RequestHandler):
def get(self):
url = 'http://asco
浏览 0提问于2012-02-26得票数 1
1回答
谷歌应用引擎urlFetch截断页面文本
python、google-app-engine、beautifulsoup
我正在使用GAE pyhton 2.5和Beautiful Soup 3.08，但发生了一些事情，切断了我文本的第一部分。
下面是我的代码：
from google.appengine.api import urlfetch
from BeautifulSoup import BeautifulSoup
url = 'http://www.cmegroup.com/CmeWS/mvc/xsltTransformer.do?xlstDoc=/XSLT/da/DailySettlement_CPC-FUT.xsl&url=/da/DailySettlement/V1/DSRepo
浏览 1提问于2012-08-19得票数 0
回答已采纳
3回答
Python中的"result.status_code == 200“是什么意思？
python、http
在这小段代码中，第四行是关于什么的？
from google.appengine.api import urlfetch
url = "http://www.google.com/"
result = urlfetch.fetch(url)
if result.status_code == 200:
doSomethingWithResult(result.content)
浏览 0提问于2009-12-12得票数 5
回答已采纳
2回答
如何使用Google App Engine将我的ID和密码传递给Python网站？
python、google-app-engine、passwords
下面是我使用Google App Engine通过URL获取网页HTML源代码(代码)的一段代码：
from google.appengine.api import urlfetch
url = "http://www.google.com/"
result = urlfetch.fetch(url)
if result.status_code == 200:
print "content-type: text/plain"
print
print result.content
这里一切都很好，但有时我需要从我注册的站点获取页面的HTML源代码
浏览 1提问于2009-12-14得票数 1
回答已采纳
1回答
在中，如何在Python中显示获取URL的页面的HTML源代码？
python、html、google-app-engine、url、fetch
在上，我找到了获取网页URL的代码：
from google.appengine.api import urlfetch
url = "http://www.google.com/"
result = urlfetch.fetch(url)
if result.status_code == 200:
doSomethingWithResult(result.content)
这是正确的代码，以获得该页面的HTML源代码吗？结果变量是否包含的HTML？如果是，我应该在这里使用哪些Python命令而不是doSomethingWithResult(result.content)来
浏览 4提问于2009-12-08得票数 0
回答已采纳
2回答
为什么要从Google App Engines导入urlfetch？
python、google-app-engine、import、urlfetch
我得到了这段代码，它可以帮助通过网址获取任何网页的代码：
from google.appengine.api import urlfetch
url = "http://www.google.com/"
result = urlfetch.fetch(url)
if result.status_code == 200:
doSomethingWithResult(result.content)
我不明白这里的一件事(事实上，在许多事情中)为什么在这段代码中建议从google.appengine.api导入urlfecth？Python没有自己的命令吗？
浏览 1提问于2009-12-12得票数 8
回答已采纳
1回答
获取带有urlfetch的文件并将其保存到Google数据存储中
google-app-engine、python-2.7、google-cloud-datastore、blobstore、urlfetch
我读过和，但仍然想不出如何将.pdf文件从URL保存到Google或but存储。任何提示或指向工作示例的指针？
我正在使用Python，我的代码实质上是来自的代码
from google.appengine.api import urlfetch
url = "http://www.gutenberg.org/files/1342/1342-pdf.pdf"
result = urlfetch.fetch(url)
if result.status_code == 200:
doSomethingWithResult(result.content)
浏览 2提问于2013-12-06得票数 1
回答已采纳
1回答
生产环境中的Google应用程序引擎lxml错误
google-app-engine、lxml
我在Google App Engine上使用了lxml来抓取一些基本数据。
它可以很好地与SDK配合使用。当我尝试在appengine服务器上使用它时，我得到了。
IOError: Error reading file 'http://www.google.com': failed to load external entity "http://www.google.com"
我的代码看起来像这样；
import lxml.html
url = "http://www.google.com"
t = lxml.html.parse(url)
pa
浏览 0提问于2012-11-10得票数 1
回答已采纳
2回答
如何将异步调用从应用程序引擎移植到tornado？
google-app-engine、asynchronous、tornado
App-engine异步示例：
from google.appengine.api import urlfetch
rpc = urlfetch.create_rpc()
urlfetch.make_fetch_call(rpc, "http://www.google.com/")
try:
result = rpc.get_result()
if result.status_code == 200:
text = result.content
# ...
except urlfetch.DownloadError:
浏览 1提问于2011-11-10得票数 2
回答已采纳
1回答
使用urlfetch.set_default_fetch_deadline(n)后的截止日期=无
python、google-app-engine、urlfetch
我正在用Python和Google开发一个web应用程序。
我试图按照前面的一个线程中的建议，在全局上设置默认的URLFetch截止日期：
urlfetch.set_default_fetch_deadline(45)
但是，它不起作用--当我在其中一个函数中打印它的值时: urlfetch.get_default_fetch_deadline()是None。
以下是main.py：
from google.appengine.api import users
import webapp2
import jinja2
import random
import string
import ha
浏览 0提问于2013-09-04得票数 1
回答已采纳
2回答
用Python将变量的内容发送到我的邮箱？
python、google-app-engine、url、header、content-type
这里我问了一个关于Python命令的问题，它获取网页的URL并将其存储在变量中。那么，我首先想知道的是，这个代码中的变量是否包含网页的HTML代码：
from google.appengine.api import urlfetch
url = "http://www.google.com/"
result = urlfetch.fetch(url)
if result.status_code == 200:
doSomethingWithResult(result.content)
，即代码中的“结果”变量确实包含了网页的HTML代码，而正在回答的程序员说，我需要“检查Con
浏览 2提问于2009-12-11得票数 0
回答已采纳
2回答
Google App Engine -无法正确接收GZIP HTML文件
python、google-app-engine、gzip、urllib2、urlfetch
Python和Google App Engine专家，
我想检索位于以下链接的TD银行抵押贷款利率网站：
"“
今天晚上，我通过教程学习了Python和Google App Engine，并被GZIP问题所困扰。
理想情况下，我希望有人来修复我粘贴在下面的代码。或者提供正确的代码(如果这样做会更容易)，以成功接收此网页并能够在python/google应用程序引擎中解析它。
尝试1- URLFETCH
import webapp2
import gzip
import StringIO
from google.appengine.api import users
from goog
浏览 0提问于2012-08-26得票数 0
2回答
在本例中，main.py或app.yaml是否确定App Engine cron任务使用的URL？
python、google-app-engine、cron、url-routing
在此示例代码中，应用程序的URL似乎由应用程序中的以下行确定：
application = webapp.WSGIApplication([('/mailjob', MailJob)], debug=True)
还可以通过app.yaml的应用程序处理程序中的这一行：
- url: /.*
script: main.py
但是，cron任务的URL由以下行设置：
url: /tasks/summary
因此，看起来cron实用程序将调用"/tasks/summary“，并且由于应用程序处理程序，这将导致调用main.py。这是否意味着，对于cron而言，应用程序中设
浏览 0提问于2009-07-11得票数 1
回答已采纳
4回答
如何检查HTTP状态码为401？
google-app-engine、http-status-codes、http-status-code-401
，我遇到了一个问题，我不知道如何通过“谷歌应用引擎”自动通过我的ID和密码到一个网站，我是一个注册用户，在这个网站上有一个帐户。有人建议我“检查HTTP状态代码为401，”需要授权“，并提供站点所要求的HTTP授权类型(基本的、摘要的，随便什么)”。我不知道如何检查状态码。有人能告诉我怎么做吗？
+++++++++++++++++++++++++++++++++
其他信息：
如果我在Google App Engine中使用这种方式(获取我的eBay摘要页面的url )：
from google.appengine.api import urlfetch
url = "http://my
浏览 2提问于2009-12-14得票数 0
回答已采纳
1回答
为什么我的django代码片段不能工作？
python、django、google-app-engine
我使用django作为过滤器，创建了一个链接到新闻条目的函数。它可以在dev_appserver上工作，但是在生产服务器上它返回None，你能告诉我为什么它不工作吗？我应该调查代码中当前刚通过的except子句吗？
def news(n):
url = os.environ.get('HTTP_HOST') if os.environ.get('HTTP_HOST') else os.environ['SERVER_NAME']
tld = url[url.rfind('.'):]
try:
浏览 0提问于2011-07-30得票数 1
回答已采纳
2回答
如何在抓取网页时处理未知编码？
python、google-app-engine、unicode
我正在使用GAE和Python从不同的站点抓取新闻文章。
我一次抓取一篇文章url的代码会导致以下错误：
UnicodeDecodeError: 'ascii' codec can't decode byte 0xe2 in position 8858: ordinal not in range(128)
下面是我最简单的代码：
from google.appengine.api import urlfetch
def fetch(url):
headers = {'User-Agent' : "Chrome/11.0.696.16&#
浏览 5提问于2013-08-15得票数 2
回答已采纳
1回答
google.appengine.api.urlfetch截止时间限制在60秒吗？
python、google-app-engine、google-app-engine-python
我在谷歌应用程序引擎上使用python，并不断从一台进行一些后端处理的机器上获取google.appengine.api.urlfetch_errors.DeadlineExceededError请求。请求大约需要60秒，有时会更长一点，所以我尝试增加截止日期。
请求被包装在重试中，从日志中我可以看到重试之间的时间总是大约60秒。我认为这要么是因为我没有正确地配置东西，要么是误解了截止日期的限制。
机器配置为：
instance_class: B8
basic_scaling:
max_instances: 1
idle_timeout: 10m
我使用的代码是(为简单起见进行了编辑)
浏览 14提问于2017-01-11得票数 4
4回答
PIL ValueError:图像数据不足？
python、google-app-engine、python-imaging-library
当我试图从一个URL中获取一个图片并将其响应中的字符串转换为App Engine中的Image时，我得到了上面的错误消息。
from google.appengine.api import urlfetch
def fetch_img(url):
try:
result = urlfetch.fetch(url=url)
if result.status_code == 200:
return result.content
except Exception, e:
logging.error(e)
url = "http://maps.g
浏览 0提问于2011-11-30得票数 4
回答已采纳
2回答
谷歌AppEngine被禁止尝试更新cron.yaml
google-app-engine、cron、google-cloud-datastore、google-compute-engine
我正在使用跟踪AppEngine。我正在GCE上执行一个gcloud app deploy cron.yaml命令，该命令的目的是在AppEngine中更新一个cron作业。GCE和AppEngine cron在同一个项目中，我已经通过默认服务帐户向GCE授予了AppEngine管理。当我在本地机器上运行它时，它会更新得很好。然而，在GCE实例中，出现了一些问题。
这是文件
app.yaml
runtime: python27
api_version: 1
threadsafe: true
service: cloud-datastore-admin
libraries:
- name: we
浏览 1提问于2019-02-11得票数 1
2回答
来自Google App Engine的urlfetch.fetch()没有出现在Fiddler2中
google-app-engine、fiddler、urlfetch
我正在我的Windows机器上测试一个Google App Engine应用程序，它在localhost:8084上本地运行。当我在应用程序中导航时，Fiddler2会显示我的所有活动，但当我使用urlfetch.fetch()请求外部url时，它根本不会显示在Fiddler中，即使使用的是http，而不是https地址，并在响应中显示成功状态代码200。
我需要做什么才能让来自Google App Engine的urlfetch.fetch()请求显示在Fiddler2中？
浏览 2提问于2011-08-16得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
