如何批量导入搜狗词库？
写
在前面
最近@黄小绵羊同学给大猫留言，说你当时那篇《如何在分词中导入搜狗字典》怎么太监了呢？第一期只讲了如何导入单个词典，并且承诺在下一期会给出批量导入的方法，但第二期至今遥遥无期。嗯，所以这次大猫决定要填坑了！
概
述
上一期大猫讲到了如何使用@qinwf写的cidian包（大家可以在github上找到）将搜狗词典导入分词词库，使用到的核心函数是：
decode_scel
至于批量导入呢，其实方法非常简单。核心就是使用list.files函数获取工作目录下面的所有词库文件名，然后使用lapply函数全部导入。最后把导入的文件汇总并去除重复的观测后输出，就大功告成啦。
一步一步来。
步
骤分解
首先是建立相关目录
# 建立相关目录 ----
# 建立数据目录，本项目所有数据都保存在这个文件夹下（包括搜狗词库文件）。其中getwd()用来获取当前工作环境的目录
data.dir <- sprintf("%s/data", getwd())
# 用来输出结果的目录
results.dir <- sprintf("%s/results", getwd())
# 搜狗词典所在目录
cidian.dir <- sprintf("%s/搜狗细胞词库-201602", data.dir)
# 获取所有搜狗词库的完整路径
scel.paths <- list.files(cidian.dir, pattern = ".scel$", full.names = T)
其次是依次导入目录下所有词库
# 将所有词库逐个导入，并输出成.txt文件 ----
lapply(seq_along(scel.paths), function(i) {
decode_scel(scel = scel.paths[i],
output = str_c(scel.paths[i], ".txt"),
cpp = TRUE)}) %>%
invisible()
接着，将所有词库合并成一个词库，并进行去重，这里用到了data.table的rbindlist函数。
# 将所有的txt字典导入并整合成单一的用户词典，这里使用到了data.table包中的rbindlist函数 ----
dict.paths <- list.files(cidian.dir, pattern = ".txt$", full.names = T)
dict.list <- lapply(seq_along(dict.paths),
function(i) fread(dict.paths[i], encoding = "UTF-8"))
dict <- rbindlist(dict.list);
# 去重
dict <- unique(dict, by = names(dict))
最后，将生成的词库导出成外部txt文件，用于后续分词
# 将最后生成的词库导出成单一的txt文件，用于后续分词 ----
write.table(dict, file = sprintf("%s/guba.use.dict.utf8", data.dir),
quote = F,
row.names = F,
col.names = F,
fileEncoding = "UTF-8")
大功告成！
下
期预告
下期大猫课堂暂定教大家如何进行分组回归。其实这个技能在《35行代码搞定事件研究法》中已经涉及，只是一来那几期比较久远，二来那几期内容众多，大家可能把这个知识点忽略了。不过没关系，重要的东西重复三遍，大猫在下期就再讲一遍分组回归哈。