我试图为KissAnime.com在C#中制作一个特定于站点的视频下载器,它接受一个URL并从中获取所有的视频页面URL,然后找到视频的mp4链接,然后将所有的视频URL返回给用户,以便在Internet下载管理器中批量下载。
我的问题是:
让我们以这个攻击土卫六(Dub)页面为例。您可以在浏览器中访问它。但是,如果您尝试通过类似webClient.DownloadString("thaturlgoeshere");
的方法访问它,它会抛出一个WebException表示The remote server returned an error: (503) Server Unavailable.
。
还有其他方法来获取页面的HTML吗?我读过一些关于从浏览器中复制标题的文章,让网站认为我的程序是人类。我该怎么做?
发布于 2015-11-27 20:14:51
KissAnime.com和许多其他站点一样,使用Cloudflare保护层,它向浏览器发送一个数学问题来解决并发回。它这样做是为了检查浏览器是真正的浏览器还是只是一个机器人,就像你的程序一样。
你最好的选择是使用像PhantomJS这样的无头浏览器。
发布于 2015-09-13 20:06:55
实际问题是503是验证您的浏览器部分。您需要验证您的浏览器,因为它不能工作,您需要使用原始套接字来连接和发送标头。
https://stackoverflow.com/questions/32073993
复制相似问题