问猜测日志文件中字节流的字符串编码

EN

tl;dr汇总：给定一个以未知编码方式表示字符串的字节流，我应该尝试按什么顺序解释这些字节，以获得找到“正确”编码的最佳机会？

这个问题的例子

我有一个文件arrows.txt，我碰巧知道它是用⇈的单字符内容使用UTF-8保存的。如果我假装不知道该文件的编码是什么，Windows上的以下Ruby代码就会失败：

s = IO.read('foo.txt')
p s.encoding,        #=> #<Encoding:IBM437>
  s.valid_encoding?, #=> true
  s.chars.to_a       #=> ["\xE2", "\x87", "\x88"]

它‘失败’，因为它告诉我，文件实际上有内容Γçê，并且一切都很好(编码是有效的)。

真实世界情景

我有Nginx日志文件和Akamai日志文件，它们对它们记录的查询没有任何特定的编码，我需要将这些数据作为UTF-8处理并存储在数据库中。大多数情况下，将每一行解释为UTF-8会产生一个具有有效编码的字符串，但有时不会。

我想要求Ruby为每一行尝试各种编码，以找到一个有效且可能(当然不是保证)正确的编码。

失败尝试

我最初编写了以下代码：

def guess_encoding( str, result='utf-8', *encodings )
  # Try every encoding if none were passed in
  encodings = Encoding.list if encodings.empty?

  # Keep forcing a new encoding until we find one that is valid
  unless encodings.find{ |e| str.force_encoding(e) && str.valid_encoding? }
    raise "None of the supplied encodings was valid"
  end

  # Convert from the valid encoding to the desired, replacing 'bad' characters
  str.encode(result, invalid: :replace, undef: :replace)
end

这方面的问题是，Encoding.list中的第一个编码是ASCII-8BIT，它对所有字节流都有效。因此，如果我使用上面的代码并调用s2 = guess_encoding(s)，结果是上面的三字节双箭头字符的字符串���。

最后，这个问题

我应该测试编码的顺序是什么，以提供最大的机会让第一个valid_encoding?成为正确的编码？对于使用的字节，哪种编码是最挑剔的，比如我应该先尝试它们，哪些公共编码是完全允许的，所以我应该最后尝试它们？

在猜测正确性时还有什么其他的试探方法吗？(如果一个特定的编码比另一个编码的字符少，那么它更有可能是正确的吗？)