有一些关于编码问题和HtmlAgilityPack
的帖子,但是这个问题没有得到解决:
因为我试图解析的网站包含像€
或ä
这样的Unicode符号,所以ü
试图将编码设置为Unicode:
public class WebpageDeserializer
{
public WebpageDeserializer() {}
/*
* Example address: https://www.dslr-forum.de/showthread.php?t=1930368
*/
public static void Deserialize(string address)
{
var web = new HtmlWeb();
web.OverrideEncoding = Encoding.Unicode;
var htmlDoc = web.Load(address);
//further decoding fails because unicode decoded characters are not proper html (looks more like chinese)
}
}
但现在
htmlDoc.DocumentNode.InnerHtml
看起来是这样的:
ℼ佄呃偙⁅瑨汭倠䉕䥌⁃ⴢ⼯㍗⽃䐯䑔堠呈䱍ㄠ〮吠慲獮瑩潩慮⽬䔯≎...
如果我尝试使用UTF-8
或iso-8859-1
,€
符号将转换为�
(以及ä
、ö
、ü
)。我怎么才能解决这个问题?
发布于 2018-12-08 14:37:12
您的站点配置错误,真正的编码是cp1252。
下面的代码应该有效:
var client = new HttpClient();
var buf = await client.GetByteArrayAsync("https://www.dslr-forum.de/showthread.php?t=1930368");
var html = Encoding.GetEncoding(1252).GetString(buf);
var doc = new HtmlAgilityPack.HtmlDocument();
doc.LoadHtml(html);
发布于 2018-12-08 14:37:34
相反,Encoding.Unicode
使用:
web.OverrideEncoding = Encoding.GetEncoding("iso-8859-1");
(用您的网站和德语测试)
要获得正确的编码,请检查目标网站的标题。它包含了正确的提示:
<meta http-equiv="Content-Type" content="text/html; charset=ISO-8859-1">
https://stackoverflow.com/questions/53687220
复制相似问题