前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >如何使用WebBits和Haskell采集人人网

如何使用WebBits和Haskell采集人人网

原创
作者头像
华科云商小彭
发布2023-10-23 15:27:28
1250
发布2023-10-23 15:27:28
举报
文章被收录于专栏:国内互联网大数据

大家好,前面给大家分享了关于采集人人网的相关代码的示例,今天给大家带来的也是一个采集人人网的爬虫实例,是通过WebBits和Haskell相结合,比较简洁,也非常易懂,让我们一起来学习一下。

代码语言:javascript
复制
```haskell
import Web.WebBits
import Network.HTTP.Conduit
import Data.Conduit
import Control.Monad.Trans.Resource
import Data.Maybe
import Data.List
import Data.Char
import System.Environment
main = do
proxy <- getProxy
let url = "http://www.renren.com"
response <- fetchUrl proxy url
case response of
Left err -> print err
Right doc -> do
let title = getTitle doc
print title
getProxy = do
proxies <- getProxyList
case proxies of
[] -> error "没有可用的代理服务器"
(x:xs) -> do
let proxy = "http://" ++ x
putStrLn $ "使用代理服务器: " ++ x
return proxy
getProxyList = do
url <- getUrl "https://www.duoip.cn/get_proxy"
let proxies = filter (not . null) $ map (stripPrefix "http://") $ lines url
return proxies
fetchUrl :: String -> String -> IO (Either String (HtmlUrl (Sink IO ())))
fetchUrl proxy url = do
manager <- newManager (tlsManagerSettings )
response <- fetchUrlWith manager url
return response
getTitle :: HtmlUrl (Sink IO ()) -> String
getTitle = fromMaybe "未知" . listToMaybe . concatMap (getTitle') . htmlUrlElements
getTitle' :: HtmlElement -> [String]
getTitle' (Element (Name "title") _ _) = ["标题"]
getTitle' _ = []
getUrl :: String -> IO String
getUrl url = do
response <- simpleHttp url
case response of
Left err -> error $ "请求失败: " ++ show err
Right doc -> return $ unpack $ responseBody doc
```

这个程序我们明显可以看出,不同于之前的代码,首先它会获取一个可用的代理地址,然后使用这个代理地址发送HTTP请求到网站服务器。接着,程序解析HTML内容,提取标题元素,并将其打印出来,除此之外,没有其他多余的操作。我们在实际使用时根据需要进行改动,完全可以直接运用,赶紧试试吧。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档