为什么R data.table不能很好地支持Windows上的非ASCII键
嗯，我已经提交了the issue on Github，但没有得到任何回应。data.table是一个很棒的R包，对我们的日常工作有很大帮助。
然而，在1.9.6版之后，如果列不是用UTF-8编码的(R中默认的非ASCII字符编码取决于平台)，它突然不支持windows上的非ASCII键。
这很可能是一个bug (而且是一个很大的bug )。令我惊讶的是，没有人注意到这一点，也没有人抱怨，因为这个bug已经存在了近两年。
我花了几个小时试图解决这个问题，但失败了。相关的提交是https://github.com/Rdatatable/data.table/commit/03cd45f83fe41e4a6507b9b2e4f955c105979c8c和https://github.com/Rdatatable/data.table/commit/409d709380e865d014f21f17a254e0bbcf1e156d
他们实际上是在尝试将其他编码字符转换为UTF-8，然后对UTF-8中的所有字符进行排序和比较。看起来编码处理是正确的。然而，我确实怀疑bug隐藏在那里。data.table的实现真的很复杂，我在问是否有人可以帮助我们，这样我们就可以做一个公关来解决这个问题。
非常感谢。
Minimal reproducible example
数据集
library(data.table)
## data.table 1.10.5 IN DEVELOPMENT built 2017-12-01 20:06:10 UTC
## The fastest way to learn (by data.table authors): https://www.datacamp.com/courses/data-analysis-the-data-table-way
## Documentation: ?data.table, example(data.table) and browseVignettes("data.table")
## Release notes, videos and slides: http://r-datatable.com
dt <- data.table(
x = c("公允价值变动损益", "红利收入", "价差收入", "其他业务支出", "资产减值损失"),
y = 1:5,
key = "x"
)如果编码是本机编码，则将失败(返回NA
dt[]
## x y
## 1: 公允价值变动损益 1
## 2: 红利收入 2
## 3: 价差收入 3
## 4: 其他业务支出 4
## 5: 资产减值损失 5
Encoding(dt$x)
## [1] "unknown" "unknown" "unknown" "unknown" "unknown"
dt[J("公允价值变动损益")][]
## x y
## 1: 公允价值变动损益 NA仅当编码转换为utf8时才会成功
现在它返回正确的答案1。注意，dt的顺序现在也变得不同了，这是不应该发生的。
dt[, x := enc2utf8(x)]
setkey(dt, x)
dt[]
## x y
## 1: 价差收入 3
## 2: 公允价值变动损益 1
## 3: 其他业务支出 4
## 4: 红利收入 2
## 5: 资产减值损失 5
Encoding(dt$x)
## [1] "UTF-8" "UTF-8" "UTF-8" "UTF-8" "UTF-8"
dt[J("公允价值变动损益")][]
## x y
## 1: 公允价值变动损益 1sessionInfo
sessionInfo()
## R version 3.4.1 (2017-06-30)
## Platform: x86_64-w64-mingw32/x64 (64-bit)
## Running under: Windows 7 x64 (build 7601) Service Pack 1
##
## Matrix products: default
##
## locale:
## [1] LC_COLLATE=Chinese (Simplified)_People's Republic of China.936
## [2] LC_CTYPE=Chinese (Simplified)_People's Republic of China.936
## [3] LC_MONETARY=Chinese (Simplified)_People's Republic of China.936
## [4] LC_NUMERIC=C
## [5] LC_TIME=Chinese (Simplified)_People's Republic of China.936
##
## attached base packages:
## [1] stats graphics grDevices utils datasets methods base
##
## other attached packages:
## [1] data.table_1.10.5
##
## loaded via a namespace (and not attached):
## [1] compiler_3.4.1 backports_1.1.1 magrittr_1.5 rprojroot_1.2
## [5] tools_3.4.1 htmltools_0.3.6 Rcpp_0.12.13 stringi_1.1.5
## [9] rmarkdown_1.8 knitr_1.17 stringr_1.2.0 digest_0.6.12
## [13] evaluate_0.10.1回答 1
Stack Overflow用户
发布于 2018-01-18 00:54:16
我正在回答我自己的问题来结束它，因为这个问题已经在PR中解决了。
对于字符串，data.table以UTF8编码比较它们的值。但是，由于csort()和csort_pre()中缺少两个ENC2UTF8，因此data.table创建的顺序实际上取决于编码。在Windows上，当键中有字符串时，默认编码不是UTF8会导致一些奇怪的输出。
为了调试这种情况，您需要知道如何将非ASCII字符从C例程输出到R的输出。直接使用Rprintf()会弄得一团糟。你必须首先在字符串上使用translateChar()。
参考文献：
- http://r.789695.n4.nabble.com/Rprintf-expected-encoding-td4740717.html
- http://r.789695.n4.nabble.com/How-to-print-UTF-8-encoded-strings-from-a-C-routine-to-R-s-output-td4724337.html
https://stackoverflow.com/questions/47599934
复制相似问题
腾讯云开发者
