使用Haskell实现Web抓取循环
是通过Haskell编程语言来开发一个程序，该程序可以循环地从Web页面中提取信息或数据。下面是一个完善且全面的答案：
概念： Web抓取循环是指通过编程方式自动从Web页面中提取信息或数据的过程。使用Haskell实现Web抓取循环意味着使用Haskell编程语言来开发一个程序，该程序可以循环地执行Web抓取操作，并从抓取的数据中提取所需的信息。
分类： Web抓取循环可以根据抓取的目标和使用的技术进行分类。例如，可以将其分为静态抓取和动态抓取。静态抓取是指从静态HTML页面中提取信息，而动态抓取是指从使用JavaScript等动态技术生成的页面中提取信息。
优势： 使用Haskell实现Web抓取循环具有以下优势：
- 强大的类型系统：Haskell的强类型系统可以在编译时捕获很多常见的错误，确保程序的稳定性和可靠性。
- 函数式编程范式：Haskell的函数式编程范式使得编写清晰、模块化和可维护的代码变得更加容易。
- 高性能：Haskell的编译器和运行时系统可以对代码进行优化，从而提供出色的性能。
- 丰富的库支持：Haskell生态系统中有许多强大的库可以简化Web抓取循环的实现过程。
应用场景： Web抓取循环在许多场景下都有应用，例如：
- 数据挖掘和分析：从多个Web页面中提取数据，用于数据挖掘和分析，如舆情分析、价格比较等。
- 网络爬虫：抓取Web页面并构建搜索引擎索引，或者用于其他需要大量数据的应用程序。
- 数据采集：定期从特定的网站上抓取数据，用于更新本地数据库或生成报告。
推荐的腾讯云相关产品和产品介绍链接地址： 腾讯云提供了多个与Web抓取相关的产品和服务，包括：
- 云函数（https://cloud.tencent.com/product/scf）：无服务器函数计算服务，可以用于编写和部署Web抓取循环的代码。
- 弹性MapReduce（https://cloud.tencent.com/product/emr）：大数据分析服务，可以用于对从Web抓取中获取的数据进行处理和分析。
- 数据万象（https://cloud.tencent.com/product/ci）：图像和视频处理服务，可以用于处理从Web抓取中获取的多媒体数据。
通过使用这些腾讯云产品，您可以更轻松地实现和部署Haskell编写的Web抓取循环程序，并在云环境中进行扩展和管理。
总结： 使用Haskell实现Web抓取循环是一种强大的方式，它结合了Haskell编程语言的优点和Web抓取的需求。通过选择适当的腾讯云产品，可以使开发和部署这样的程序变得更加简单和可靠。
相关·内容
2回答
我如何着手编写Haskell库来提供类似于SDL或GLFW提供的输入功能？具体地说，我该如何抓取设备事件(如鼠标、键盘、操纵杆)和系统事件(如退出、调整大小、窗口移动、焦点)。
浏览 0提问于2012-05-25得票数 2
回答已采纳
可能重复：
在Haskell中，您可以定义一个无限列表，例如[1..]。在Haskell中是否有一个内置函数来识别列表是否具有有限的长度？我认为编写用户提供的函数是不可能的，但是Haskell对列表的内部表示可能能够支持它。如果不是在标准Haskell中，是否有扩展提供这样的功能？
浏览 5提问于2012-03-27得票数 25
回答已采纳
1回答
我想在Haskell中做一些屏幕抓取(从Netflix)，但网站需要cookie登录状态，所以大多数示例使用浏览器自动化来要求登录的浏览器执行实际的URL获取，然后从文本中抓取。
我想(在Ruby语言中)的一个很好的例子是：
有没有什么简单的方法可以从Haskell做同样的事情呢？
浏览 1提问于2012-07-06得票数 5
我想学习Haskell，我还有另一个小项目(目前在Elixir中)，我想把它作为练习移植过来。它是一个简单的网络抓取器，可以抓取urls列表。 想象一下，有一个邮政编码列表，大约有2500个项目。对于每个条目，都应该以http://www.acme.org/zip-info?zip={ZIP}的形式抓取一个网页。我设法写的代码爬行一个单独的网页使用手术刀。 但是我该如何去抓取这2500个项目呢？在Elixir中，我会对邮政编码列表进行映射，在每个页面请求之后会有1秒的短暂休眠，这只是为了减轻目标网站的压力。对我来说，尽可能快地抓取网站并不重要。 我该如何在Haskell中做到这一点？我读到过
浏览 12提问于2021-11-09得票数 1
2回答
我在搜索类似Haskell语言的web框架时遇到了用户/网络项目。这看起来像是一个人做的非常有趣的项目。
基本上，它是一种特定于领域的纯功能的web编程语言，充分利用了ML和Haskell的优点。语法是ML，但是有来自Haskell的类型类和monad，并对其进行了严格的评估。服务器端编译为本机代码，客户端编译为Javascript.请参阅幻灯片和FAQ页面，以获得其他广告中的优势。
看看演示程序及其源代码，我认为这个项目很有希望。最新的版本大约是20110123，因此现在似乎正在积极开发。
这里有谁有更多的经验吗？与Haskell相比，除了ML略为冗长的语法之外，还有什么问题/烦恼吗？
浏览 0提问于2011-03-14得票数 16
回答已采纳
第一
在Haskell中实现函数是否存在或会有多大的麻烦？
的主要思想是
setTimeout someFunction 1000 --someFunction will be called in 1000ms = 1s
我对Haskell很陌生，很可能不会用这个，我正在学习Haskell来踢它。
第二
游戏的事件循环通常要求您
根据规则(通常是物理)修改内部游戏对象
更新图形
在这里，管理时间是非常重要的(因此是setTimeout)，以确保固定的FPS。
这样的模式在Haskell上看上去怎么样？
浏览 4提问于2014-05-21得票数 5
受到 question和最近的的启发，我想知道Haskell web开发涉及到什么。
是否有任何Haskell applications?框架或模板引擎? Haskell 托管Haskell站点是如何工作的，是否有合适的web服务器？对于web开发中常用的基于快速开发和原型的工作流来说是否过于复杂？是否有现有Haskell web frameworks的示例
浏览 59提问于2009-08-10得票数 80
回答已采纳
1回答
有没有类似于Haskell循环的Ruby方法？Haskell的循环接受一个列表，并返回无限附加到其自身的列表。它通常与take一起使用，它从数组顶部抓取一定数量的元素。有没有一个Ruby方法可以接受一个数组，并将该数组追加到自己后面n次返回？
浏览 1提问于2013-03-06得票数 2
回答已采纳
5回答
我希望开始一个使用函数式语言的实验项目，并试图在Erlang和Haskell之间做出决定，两者都有一些我非常喜欢的观点。
我喜欢Haskell强大的类型系统和纯洁。我有一种感觉，它将使它更容易编写真正可靠的代码。我认为Haskell的力量会使我想要做的事情变得更容易。
不利的一面是，我感觉到一些在Haskell上进行web操作的框架，比如Yesod，并不像它们的Erlang计数器那样先进。
我非常喜欢Erlang方法来处理线程和容错。我有一种感觉，Erlang的可伸缩性可能是一个主要的好处。
这就引出了我的问题，人们在Haskell和Erlang中实现web应用后端的经验是什么？是否有Hask
浏览 0提问于2011-03-06得票数 30
回答已采纳
我最近在Haskell学到了尾叫优化。我从以下文章中了解到，这不是javascript的一个特性：
javascript的设计是否有一些固有的东西使得尾调用优化变得特别困难？为什么这是像haskell这样的语言的一个主要特性，但现在才作为某些javascript引擎的一个特性来讨论呢？
浏览 3提问于2015-07-07得票数 5
回答已采纳
我想知道以CRUD为中心的web应用程序可以从Haskell的类型系统中获益多少，特别是当前端是使用Javascript框架构建的，比如AngularJS，它可以传递无类型的数据对象。
在我看来，一旦您将Haskell数据类型转换为JSON对象，并传递给沉重的JavaScript MVC框架层，将Haskell的类型系统作为web堆栈的一部分的好处就会急剧减少，因为无法让类型检查器确保整个web应用程序中数据流的类型完整性。
例如，您可以更改数据库模式和相关的Haskell类型，但是类型检查器也不能告诉您JavaScript MVC前端的哪些部分需要更新。我觉得这是个问题。
我是否正确地描述了
浏览 1提问于2013-11-19得票数 6
回答已采纳
我有一个简单的Haskell函数，它计算一种特定类型的和：
usum :: Integral a => [a] -> a -> a
usum (x:xs) max = sum (nub [num*k | num <- (x:xs), k <- [1..div max num]])
如果x:xs保持不变，但当max从1增加到某个上限时，如何运行这个函数呢？
如果usum是用像Java这样的面向对象语言实现的，我将执行以下操作：
for (int i = 0; i < limit; i++)
{
System.out.println(usum(i));
}
浏览 0提问于2018-10-28得票数 1
回答已采纳
我有一个生产Rails应用程序，我想在其中尽可能无缝地集成一个非Rails、非Ruby服务器进程。也就是说，我希望由运行在Rails应用程序所在的服务器上的Haskell Snap web应用程序来处理某些路由。这些路由都将返回JSON有效负载，因此不存在模板复杂性。但我希望避免设置CORS的开销，所以我希望这些JSON响应看起来与Rails生成的网页来自相同的来源。
在这种情况下，最好的集成策略是什么？我是否应该设置Rails控制器来向Haskell web应用程序发出web请求，然后将响应转发给客户端，或者是否有更有效的方法使用Rack中间件或Nginx配置来实现这一点？
浏览 0提问于2013-06-25得票数 0
回答已采纳
3回答
favorite_languages = {
'jen': ['python','ruby'],
'sarah': ['c'],
'edward': ['ruby','go'],
'phil': ['python','haskell']
}
for name,languages in favorite_languages.items():
print(languages)
浏览 141提问于2024-01-14
我认为Haskell提供了非常棒的特性。也适用于Web开发。然而，我遗漏了一个特性。服务器端渲染。原因是谷歌索引爬虫和预渲染，以提高移动设备的性能。
是否可以使用Ghcjs、Haste、Elm或其他Haskell->JS编译器在服务器端呈现Haskell前端？
浏览 5提问于2015-09-26得票数 8
我正在构建一个web抓取API，我的大部分抓取都是用AsyncIO协同器完成的，如下所示：
async def parse_event(self):
do scraping
# call the func
asyncio.run(b.parse_event())
这非常好，但由于我是同时刮多个网站，我最初是使用concurrent.futures.ThreadPoolExecutor来使用多个线程的擦拭。但是，由于我已经实现了coroutine逻辑，所以现在不能在线程中直接使用asyncio.run方法。
以前(没有协同剂)：
with concurrent.futures.Threa
浏览 3提问于2021-10-26得票数 4
对于如何用Selenium、BS4和UserAgent抓取多个URL，我一直在尝试一些不同的解决方案，到目前为止，我已经能够抓取1个URL来提取我想要的内容。只是当涉及到1+地址时，我遇到了麻烦。
目前，我有下面的代码，它可以抓取第一页。如果您将urls参数更改为url，取消url变量的注释，去掉for url in urls并删除for content in sel_soup循环的缩进，您就会明白我的意思。
我想创建一个循环来抓取，开始时，只有2个网页，当它可以循环通过这2个我可以附加与其他网址的列表。
import requests
from bs4 import BeautifulSou
浏览 16提问于2020-05-17得票数 0
我想知道Haskell有多聪明/多懒。我能否始终确保Haskell只执行生成特定输出所需的操作？
浏览 3提问于2022-08-01得票数 2
回答已采纳
我对haskell非常陌生，但幸运的是，我只需要实现几个功能。我确实对以下函数有疑问
next :: Eq a => [a] -> a -> a
next l@(x:_) e = case dropWhile (/= e) l of
(_:y:_) -> y
_ -> x
l@是做什么的？
dropWhile (/= e) l of代表什么，特别是/=运算符
在这种情况下，of是什么意思？
(_:y:_)是做什么的？我知道(x:xs)将允许您抓取头尾，但是y变量中有什么？
浏览 0提问于2017-12-19得票数 3
回答已采纳
很抱歉有这样的问题。我是一个非常初级的程序员，我刚刚开始学习Haskell。最近，我遇到了一个在Haskell中实现函数的练习，该函数返回无限个Fibonacci数列表。下列代码是这项工作的答案：
fibs :: [Int]
fibs = fibs2 0
where
fibs2 :: Int -> [Int]
fibs2 x = (fib2) x : (fibs2 (x+1))
有人能向我解释为什么我们应该在这里声明另一个函数(fibs2)吗?在这种情况下，什么是“在哪里”？
浏览 2提问于2022-04-27得票数 3
我研究了像Snap和Yesod这样的Haskell web框架。大多数似乎都实现了MVC式的方法，这让我想起了Ruby on Rails这样的web框架。是的，MVC可以用FP实现，但我想它并没有显示出FP方法的巨大优势。由于HTTP是一种无状态协议，我希望Haskell框架能够采用更原始、更纯函数的方法。有吗？
浏览 0提问于2011-01-05得票数 10
回答已采纳
我很好奇在Haskell中实现一个循环。如何在Haskell (伪代码)中执行类似的操作：
var i = 0
for (int i1 = 0; i1 < 10; i1++) {
println(i1)
i += 2
}
println(i)
浏览 7提问于2013-11-04得票数 2
回答已采纳
4回答
我在用HASKELL做图形游戏。除了使用bfs或树等，我愿意得到一种合适的方法，以便从一个节点到达图中的某个特定节点。
当我要求haskell中的代码从一个节点到达特定节点的能力时，有必要告诉您，我对haskell完全陌生。我一直在阅读教程和简单的例子，但是当涉及到实现时，我就迷失了。我的图是有向图，说我想检查我是否能从图中的节点v到达节点w。
浏览 2提问于2009-07-19得票数 2
我有一个web服务的想法，但对web编程非常陌生。Django看起来很棒，喜欢一些我可以很快学会的东西。我对Haskell有很多经验(对python很少)，希望能够开始用我最喜欢的语言编写一些后端的非web相关的东西。当然，如果我使用django，haskell代码将无法使用，我当然不想这么做。
我一直在研究几个haskell web框架: hApps看起来太复杂，没有文档，turbinado看起来很容易接近，但没有文档，等等。我认为使用像django这样的广泛使用的框架，并能够访问许多我可以直接插入的代码将会对我有很大的帮助。但我非常乐于听到关于使用框架的其他想法，或者我必须以某种方式使用H
浏览 0提问于2009-10-01得票数 5
回答已采纳
我有这样的代码：
steps = [['A', 'B', 'C', 'C', 'C'], ['D', 'E', 'F', 'F', 'F']]
for step in steps:
while True:
last_item = ""
for item in step:
if item != last_item:
pr
浏览 1提问于2019-01-01得票数 1
回答已采纳
6回答
我最近一直在研究Haskell，它似乎是从另一种观点来看待编程问题的一种非常好的方式-至少可以替代我通常的命令式(我有很强的C++背景)视图。
然而，我看到的所有文章似乎都在处理相同类型的编程问题：
的ParsersCompilersNumeric计算问题
我想亲自试一试Haskell，通过编写一些GUI应用程序。因此，我想知道:用Haskell这样的函数式编程语言编写像GUI这样的事件驱动系统有意义吗？或者这是命令式语言擅长的问题领域？不幸的是，我仍然需要相当长的时间才能将我的思想切换到“函数式”模式，所以我很难决定是反对还是支持在事件驱动系统中使用函数式编程语言。
我还对用Haskell实
浏览 96提问于2010-01-18得票数 16
回答已采纳
我做了一个脚本，其中包括web抓取和api请求，但我想添加discord.py，用于将结果发送到我的discord服务器，但它在此之后停止：
client.run('token')
有没有办法解决这个问题？
浏览 0提问于2021-03-19得票数 1
如果我想在Haskell程序上使用Coq编写证明和算法/语义。我如何从Haskell翻译到Coq来做到这一点？
似乎有一些工具可以翻译OCaml程序。但是Haskell呢？
浏览 4提问于2015-07-09得票数 4
回答已采纳
2回答
首先，我对Haskell非常陌生--但我必须说，自从我开始使用Haskell以来，我就爱上了它。我做过大量的C、Java、python和perl。Haskell肯定对我越来越有吸引力了。不久前，我用perl/python为我的一个个人项目写了一个web应用程序/服务--我想知道我是否可以把它作为一个有趣的项目转移到haskell上，并做一些haskell hackery来看看它是如何发展的。
我知道在haskell中有一些优秀的web应用程序框架。我想做的是有一个用haskell编写的服务，它将响应不同格式的数据(SOAP、REST-xml、REST-json)。我会使用javascript来
浏览 0提问于2011-07-12得票数 13
回答已采纳
我目前正在研究Haskell作为安全web开发平台的问题。我倾向于在web框架部分使用粒子堆栈，但我也在研究yesod和snap。
我的直觉是，语言的工作方式(特别是完全纯洁性和强大的静态类型系统的结合)使它成为一个非常好的选择，从安全性的角度来看，框架本身通过消除其他堆栈中的典型安全问题和陷阱而宣称是非常安全的。
但是，我还没有找到任何资源来支持这一假设，所以我正在寻找的是关于Haskell工具链(特别是GHC和GHC RTS)和上述web框架的安全方面的安全报告、研究论文，甚至非正式文档。
是否有人对其中任何一项进行过安全审核？是否有任何书面的理论或实践证明，这些工具的稳健性和健全性？是否
浏览 0提问于2012-04-26得票数 6
1回答
我正在尝试解决我在网上找到的Haskell课程中的练习，对于，我有以下实现：
reverse ::
List a
-> List a
reverse Nil = Nil
reverse (x :. xs) = let l = (reverse xs) in l ++ (x:.Nil)
将List定义为：
data List t =
Nil
| t :. List t
deriving (Eq, Ord)
在这个函数中似乎有一个无限循环。但我不知道为什么。你能指点我吗？
浏览 2提问于2015-08-16得票数 0
回答已采纳
在nodeJS中，我知道如果我在一些异步调用上转储一堆大的回调，它们都会被放入事件循环中，并最终得到解决。我非常确定，根据，这通常是以先进先出的方式完成的。
在我正在开发的一个应用程序上，我每隔30分钟就会根据一些web抓取请求转储一堆异步调用，这些调用操作数据库。我真的不关心这些电话是否需要一两分钟才能接通，因为我每30分钟才给他们打一次电话，而且这些电话的音量不会改变。
但是，如果用户在这两分钟内向服务器发出GET请求，我更希望他们在服务器处理完所有web抓取时不会遇到延迟。有没有办法将这些用户请求快速跟踪到事件队列的前面？
浏览 0提问于2014-09-05得票数 0
1回答
硒中的元素迭代
、、
我正在尝试做一个网络抓取器，它抓取纽约时报搜索结果页面，并抓取和存储诸如发布日期、作者、标题等内容。每一个其他字段，如标题和日期，都被正确地抓取和存储，但不是作者，因为一些文章没有author元素。
我要做的是遍历搜索结果并存储作者姓名，如果找不到作者姓名，我想将其设置为-1。我有这段代码，但它没有把-1存储在缺失的作者的位置。
(我刚刚开始做web抓取，这是我的第一个项目。)
from selenium import webdriver
from selenium.common.exceptions import NoSuchElementException
import time
auth
浏览 0提问于2020-06-26得票数 0
我需要使用Haskell生成列表上的传递闭包。
到目前为止，我得到了这样的信息：
import Data.List
qq [] = []
qq [x] = [x]
qq x = vv (sort x)
vv (x:xs) = [x] ++ (member [x] [xs]) ++ (qq xs)
member x [y] = [(x1, y2) | (x1, x2) <- x, (y1, y2) <- qq (y), x2 == y1]
输出1:
*Main> qq [(1,2),(2,3),(3,4)]
[(1,2),(1,3),(1,4),(2,3),(2,4),(
浏览 1提问于2013-10-06得票数 5
回答已采纳
我有一个C函数，它创建一个以null结尾的字符串，并返回一个指向它的指针，还有一个相应的释放函数。
foreign import ccall unsafe "get_str" getStr :: IO CString
foreign import ccall unsafe "free_str" freeStr :: CString -> IO ()
我想从返回的CString创建一个Haskell字符串，并尽快释放CString。
do cStr <- getStr
str <- peekCString cStr
freeStr c
浏览 1提问于2009-11-16得票数 4
回答已采纳
我想在我的项目中更多地使用Haskell，我认为如果我可以开始在web应用程序中使用它，这将真的对我的事业有所帮助。我尝试过一次或两次，但在离开地面时遇到了困难。有没有更简单/更传统(更像lamp)的框架可供我使用，或者我应该再试一试happs？
浏览 0提问于2008-09-09得票数 19
我知道这是一个重复的问题，但是从网上所有的答案中，我找不到解决方案，因为所有抛出的错误。简单地尝试从web上抓取标题并将其保存到txt文件。抓取代码效果很好，但是它只保存最后一个字符串，绕过所有头到最后一个。我尝试过循环，把写代码放在抓取之前，附加到列表等等，不同的抓取方法都有相同的问题。请帮帮忙。 以下是我的代码 def nytscrap():
from bs4 import BeautifulSoup
import requests
url = "http://www.nytimes.com"
page = BeautifulSoup(requests
浏览 6提问于2020-05-03得票数 0
回答已采纳
1回答
所以基本上我正在做一个涉及网络抓取的学校项目。我知道如何使用python和整合web抓取，但是如何将抓取的数据放到网站上呢？如果它有帮助，我正在制作一个网站，从其他网站拉动价格，并在我的展示它。(像Trivago)我在网上找不到太多，所以任何帮助都是很好的。
浏览 11提问于2018-01-31得票数 1
回答已采纳
3回答
我已经接受了以下问题的答案，但我似乎误解了haskell中数组是如何工作的。我以为他们只是把名单加起来了。阅读下面的问题时要记住这一点。
我发现haskell中的单块数组在用于更大的数组时效率很低。
我还没有在haskell中找到一个非单块的数组实现。我需要的是在多维数组上查找O(1)时间。
是否有支持此功能的数组的实现？
编辑:我似乎误解了“铁板一块”这个词。问题是，haskell中的数组似乎将数组视为一个列表。不过，我可能错了。
EDIT2:低效代码的简短示例：
fibArray n = a where
bnds = (0,n)
a = array bnds [ (i, f i)
浏览 3提问于2012-04-19得票数 2
回答已采纳
在Haskell中，error函数具有签名String -> a。它可以返回任何类型，因为它实际上从未返回。(它打印其参数并终止程序。)
我用C编写了一个类似的函数。它记录传递的字符串并终止进程。我是否可以编写一个Haskell包装器，使其具有与error相同的签名？
C函数的形式为void RaiseError(char* msg) { ... }
到目前为止，我
foreign import capi safe "file.h RaiseError"
c_RaiseError :: CString -> IO ()
raiseError :: Stri
浏览 11提问于2022-04-18得票数 4
1回答
与许多其他语言一样，Haskell没有循环。我理解它背后的理由，以及一些不同的解决问题的方法。但是，当需要循环结构时，我不确定创建循环的方式是否正确/良好。
例如(琐碎函数)：
dumdum = do
putStrLn "Enter something"
num <- getLine
putStrLn $ "You entered: " ++ num
dumdum
这很好，但是代码中有潜在的问题吗？
另一个例子是：
a = do
putStrLn "1"
浏览 8提问于2014-05-10得票数 4
回答已采纳
1回答
模板Haskell能否找到类型类中声明的关联类型同义词的名称和/或声明？我原以为会做我想做的事，但它似乎并没有提供所有必要的信息。它用于获取函数类型签名：
% ghci
GHCi, version 7.8.3: http://www.haskell.org/ghc/ :? for help
...
Prelude> -- I'll be inserting line breaks and whitespace for clarity
Prelude> -- in all GHCi output.
Prelude> :set -XTemplateHaskell
Pr
浏览 4提问于2013-06-22得票数 260
回答已采纳
2回答
最近，我正在读一些有关Haskell的函数式编程书籍。
例如，Haskell似乎很喜欢“模块化程序”，
f :: (Integer,Integer) -> Integer
f = sum . map sq . filter . odd . between
即使相同的函数可以编写成
f' (m, n) = go m
where go m | m > n = 0
| otherwise = go (m + 1) + if odd m then sq m else 0
“融合定律”也很受欢迎和使用()
我不是OCaml专家，但如果可能的话，我会使用
浏览 2提问于2014-01-09得票数 4
回答已采纳
2回答
我有两个列表：
public List<string> my_link = new List<string>();
public List<string> english_word = new List<string>();
我从页面上抓取了一些链接，并将它们保存到“my_link”上；为此，我使用如下代码：
HtmlWeb web = new HtmlWeb();
HtmlAgilityPack.HtmlDocument doc = web.Load("http://search.freefind.com/find.html?id=59
浏览 2提问于2013-02-05得票数 0
回答已采纳
1回答
我正在用Node编写一个网络抓取器，并考虑使用像Cheerio或JSDom这样的模块来将HTML解析成一组URL的DOM。然而，我有一个特定的功能是必要的。
我的目标是构建一个可以在一个网站上抓取多个相似页面的抓取器，以获取几个关键信息。但是，我有一些包含这些信息的样本数据，我想使用它们为这些页面动态构建一个模型，然后使用该模型抓取站点的其余部分。
为了清楚起见，如果一个网站上有三个页面，每个页面包含一个不同的产品：
第1页：
<html>
<body>
<h1>Product 1</h1>
<p>Desc</p>
<
浏览 14提问于2017-01-25得票数 2
1回答
列表尺寸小于实际尺寸
、、、
我使用webdriver将类名为topredo的web元素捕获到ArrayList中。
看到屏幕滚动时web元素在增加，我使用while循环来滚动和抓取。
这样的Java代码：
outer: while (isContinue) {
List<WebElement> all = driver.findElements(By.className("torpedo"));
/* do screen scrolling*/
}
它在最后一个循环之前运行良好。
在最后一个secode循环中，我得到了all.size()结果208，但是
浏览 1提问于2017-05-05得票数 0
有(事实上)用于编程语言的标准web服务器接口，例如用于Python的WSGI，用于Ruby的Rack。Haskell有没有类似的东西？我发现了两个试验，Hack和HSGI，但不确定其中哪个(或另一个)在Haskell领域更受欢迎。
等待Haskell大师的建议！
浏览 3提问于2011-10-09得票数 14
回答已采纳
3回答
Haskell中是否有a -> b类型的函数？这意味着，是否有可能编写一个像f :: a -> b这样的函数？我认为这样的函数不存在是因为以下原因:假设我们找到了f，f :: a -> b，f 2会产生什么？b类型的值，但是b是什么，因为Haskell不能从我给出的参数中引用(我认为)它？这是正确的吗？否则，你能给我举个这样的例子吗？
浏览 8提问于2016-05-26得票数 2
回答已采纳
我正在尝试使用Selenium和Python执行动态web抓取。我正在尝试抓取的网站有一个输入，大约600个位置可以选择。每个位置都有不同的设施。
我想要抓取设施的名称以及每个位置的地址。
我有一个excel文件中的位置列表。我使用Pandas导入这些位置，然后尝试执行for循环，遍历每个位置，在输入中输入位置，然后抓取下面输出的设施。
但是，我的for循环并没有像预期的那样工作，所以每次我运行脚本时，Selenium驱动程序都会打开，并且我会按照第一个位置的预期来清理设施。但在那之后什么也没有发生。我的目标是让脚本继续运行，要么打开新的Selenium浏览器，要么在输入中输入一个新位置，以抓
浏览 16提问于2019-07-10得票数 1
今天，我看到了一些关于打结和循环数据结构的参考。我在外面读了一些答案，解决方案似乎涉及到使用ref指向列表的头部。一个特定的显示了一个Haskell示例，但我对Haskell的了解还不够深入，无法知道该示例是否使用了Haskell等效于ref。
有没有一种方法可以在不使用ref或类似构造的情况下使Clojure数据结构变得循环？
谢谢。
浏览 0提问于2012-07-20得票数 5
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储活动推荐
腾讯云开发者
