我在Haskell用手术刀写一个网络爬虫。基本代码是:
Main :: IO ()
Main = do
request <- parseRequest weblink
p <- httpLBS request >>= return . getResponseBody
result <- do
r <- return $ scrapeStringLike (L8.unpack p) torrentS
return . fromJust $ r
-- append
mapM_ putStrLn $ result
目标网站不返回结果。我认为它检查用户代理字符串,并对真正的浏览器和爬虫做出不同的响应。
那么,我应该如何自定义http-client
中的用户代理字符串?或wreq?
发布于 2017-05-08 18:07:17
用户代理是一个HTTP报头,所以您只需要使用一个API来设置标题。例如,requestHeaders
in http-client
(请注意,它是一个setter,所以您可以将它用作request{requestHeaders=blah}
)。
https://stackoverflow.com/questions/43853789
复制相似问题