1回答
代码： from bs4 import BeautifulSoupimport requests
https://www.merriam-webster.com/dictionary/test
https://en.wikipedia.org
浏览 31提问于2020-12-28得票数 1
回答已采纳
2回答
我想从DuckDuckGo搜索结果中抓取第一个链接。它打印网页的HTML，而不是那些包含div的结果。我不知道为什么BeautifulSoup不抓取包含div的结果。请看屏幕截图，突出显示的HTML语法是我想要抓取的：
我找到了一个答案，DuckDuckGo使用javascript搜索结果，beautifulSoup不能抓取javascript，但在StackOverflow上的其他帖子中，我发现人们可以从搜索
浏览 6提问于2021-04-02得票数 0
1回答
我必须抓取DuckDuckGo，并为每个页面获取查询结果的所有标题，但要使用我只得到了关于第一页的结果。我怎样才能继续读到下一页？
浏览 3提问于2017-08-29得票数 1
回答已采纳
1回答
我创建了一个Python3脚本，它允许我在搜索引擎(DuckDuckGo)上进行搜索，获得HTML源代码并将其写入文本文件。import pycurlc = pycurl.Curl()
c.setopt(c.URL, 'https://duckduckgo.com我希望有相同的超文本标记语言源代码，我将通过在我的终端上运行curl https://duckduckgo.com/?q=test获得
浏览 0提问于2018-09-28得票数 1
我读过一篇文章，解释了如何在Google Sheets中使用importXML()函数访问网页，从网页中抓取数据，并将结果放入单元格中。参数更改为"num=20“，得到的响应是”无法获取URL...“ 然后，我在另一个单元格中输入相同的公式，将URL替换为"https://www.google.com“，并将gl参数替换为"gl=US”，结果仍然是顺便说一句，我在一个论坛上读到，你可以使用谷歌的自定义搜索API和UrlFetch()来收集搜索结果并填充谷歌工作表。但在尝试之
浏览 18提问于2019-03-05得票数 1
1回答
如何获得独特的搜索结果？
、、、
我使用这个()模块来抓取duckduckgo搜索结果：>>> for links in duckduckgo.search('Yellow Chris Martinprint links重复4次相同的链接http://www.youtube.com/watch?v=1MwjX4dG72s
如何解决这一问题，并获得相同的<
浏览 5提问于2016-06-20得票数 1
回答已采纳
我正在编写一个脚本，它将使用DuckDuckGo抓取我的问题的所有答案！我试着使用DuckDuckGo的API来做这件事，它也能工作，但结果给出了大量的信息。有没有办法限制它的句子？r = requests.get("https://api.duckduckgo.com", "q": query,
"format": "
浏览 6提问于2021-11-23得票数 0
我可以从duckduckgo搜索的第一页中抓取结果。然而，我正在努力进入第二页和后续页。我在Selenium中使用了Python，这对于第一个页面的结果来说是很好的。我用来刮第一页的代码是：-
results_url = "https://duckduckgo.com/?
浏览 4提问于2017-10-16得票数 3
回答已采纳
我试图使用Python库来获取DuckDuckGo搜索结果：url = "https://duckduckgo.com/html/?但是，每当我的查询包含双引号“和通配符这样的特殊字符*时，DuckDuckGo告诉我没有搜索结果，尽管当我使用浏览器访问相应的页面时，我可以看到结果。例如：
https://duckduckgo.com/?q=example&a
浏览 4提问于2021-09-09得票数 0
5回答
编辑:我必须抓取的一些网站使用非常复杂的Java Script呈现页面，现在这增加了我的网络爬虫的复杂性，因为我需要能够抓取由JavaScript呈现的页面。如果有人在C#中使用过任何可以抓取javascript渲染的库，请一定要分享。我用过我不喜欢的watin，我也知道有关硒的知识。如果你知道除了这些以外的任何事情，请与我和社区分享。
浏览 2提问于2010-12-06得票数 9
回答已采纳
2回答
())
while x < 3: grow = grow + 1在这里一切正常，函数“打印”打印不同的结果例如：>>>https://duckduckgo.com/html?q=44543
>>>https://duck
浏览 16提问于2017-03-10得票数 0
import duckduckgoprint r.results[0].url[<duckduckgo.Result object at 0x0000000002E98F60>]
但如果我找的不是“DuckDuckGo”。
浏览 6提问于2013-08-10得票数 5
1回答
用Python进行AJAX调用
、、、、
我正在尝试使用自制的Python从网页中获取锚元素的href属性的值。但是，锚元素所在的div元素的所有内容都是由网页在最初加载时使用AJAX jQuery调用来接收的。div元素包含大约90%的网页内容。如何获得div元素的内容以及锚元素的href属性的值？在我得到这个之后，我将使用BeautifulSoup来解析网页。那
浏览 0提问于2015-05-11得票数 2
回答已采纳
我需要像这样指定一个搜索查询来抓取搜索引擎的结果："firstName lastName linkedin“。目的是提取linkedin个人资料URL。通常，这是第一个搜索结果。我使用一个简单的nodeJs库和一个递归实现(如下所示)抓取了近1500个名字。另外，为了测试搜索引擎的局限性，我运行了4个并行实例，每个实例分别指向google、bing、yahoo和duckduckgo：
const sec = require('search-engine-client
浏览 0提问于2018-01-10得票数 0
我修改了一些内容，我同样希望DuckDuckGo重新索引或删除内容。
旧的内容在索引中，已经过时一段时间了。是否有一种方法可以提示DuckDuckGo重新索引/删除类似于Google的工作方式？
浏览 0提问于2020-06-12得票数 2
回答已采纳
因此，我正在尝试使用file_get_contents($url)进行抓取，但是返回的内容已经修改了它的所有链接(域名被删除了，并且添加了许多奇怪的字符，以防止锚hrefs和图像srcs)。
$url = 'https://duckduckgo.com/html/?附带问题:是否有更好的方法来刮除duckduckgo的结果？我看到他们没有公共搜索api (可用的只是一个不适用于搜索的答案api )
浏览 2提问于2020-05-01得票数 0
回答已采纳
我正在编写一个脚本，用于打开firefox，其中包含为给定术语找到的第一个duckduckgo结果。url = "https://duckduckgo.com/?t=ffab&q=python+request+duckduckgo&ia=software"Duckduckgo返回418。
这是怎么回事？duckdu
浏览 0提问于2020-07-23得票数 3
回答已采纳
我正在用python创建一个应用程序，它将显示从DuckDuckGo的图像搜索结果中刮来的图像。因此，我需要一个列表的链接到图像的基础上的搜索。问题是，构成DuckDuckGo图像搜索结果的HTML不包含任何图像标记，而是将图像存储在除法标记中。在python的帮助下，我如何才能抓取到图像的链接，并将它们存储在程序中的一个变量中呢？%2Fthumb%2F8%2F88%2FDuckDuckGo_logo.svg%2F1200px-DuckDuckGo_logo.svg.png",
浏览 5提问于2019-05-14得票数 3
回答已采纳
我正在使用PHP的duckduckgo API。API可以工作，但是如果我搜索一个短语，浏览器中什么也不会出现。如果我搜索“Freelance”，就会出现搜索结果。我可以做些什么来允许显示短语结果吗？以下是我的代码
<?
浏览 1提问于2012-11-15得票数 2
这个问题寻找一种如何以只产生结果的方式使用https://duckduckgo.com/lite的方法，即页面实际上包含所有搜索到的单词。搜索操作符：关于猫或狗的cats dogs结果cats -dogs结果减少了狗的数量
cats +dogs更多狗在结果猫https://duckduckgo.com&#
浏览 0提问于2019-02-04得票数 3
云服务器
ICP备案
云直播
对象存储
实时音视频
腾讯云开发者
