我在一个只用于抓取公共数据的网络爬虫中使用。
我希望它能够爬行网站的无效证书,无论多么无效。
我的爬虫不会传入任何用户名、密码等,也不会发送或接收敏感数据。
对于这个用例,如果存在站点的http版本,我会抓取它,但有时它当然不会。
如何用Apache的HttpClient来实现这一点?
我尝试了一些建议,比如,但是对于一些无效的证书,它们仍然失败,例如:
failed for url:https://dh480.badssl.com/, reason:java.lang.RuntimeException: Could not generate DH keypair
failed for url