问HTTP代理来处理不同的编码
EN

Server Fault用户

提问于 2014-01-07 09:30:13

回答 1查看 1.1K关注 0票数 0

我正在做一个网页爬虫，所以我解析HTML页面。我的问题是有时页面编码不是UTF8 (ISO，外来的0-9等等)而我的分析器也被磨碎了。

我在PHP/Java/NodeJS中尝试了许多解决方案来转换内容，但始终存在一个问题。

存在一个代理模块(nginx、squid、varnish .)自动将内容字符集转换为UTF8？

发布于 2014-01-07 09:44:18

字符集应该在头中声明--如果不是utf-8，那么就转换它-- 艾特夫可以在Linux和Unix的大多数口味中使用。如果您正在构建web爬虫，那么在代码中集成比在代理中集成要容易得多。

票数 1

页面原文内容由Server Fault提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://serverfault.com/questions/565503

复制

相似问题

问HTTP代理来处理不同的编码EN