专栏首页游戏杂谈Node.js文件编码格式的转换

Node.js文件编码格式的转换

项目很多 lua 文件不是 utf-8格式,使用 EditPlus 查看的时候,显示为ASCII。还有的是带BOM的,带BOM倒好处理,之前写过,有一定规律。

ASCII编码就比较蛋疼,通过搜索网上资源,反复测试对比,最终形成下面比较靠谱的方法(有一些 EditPlus显示编码为utf-8但node.js库返回的却是其它编码>_<)

判断修改是否无误,只需要在修改完之后,通过SVN提交,浏览提交列表,双击任意一项待提交文件,如果显示下图所示的对话框,则说明修改成功,其它都会看到中文反而变成乱码了

var fs = require('fs');
var chardet = require('chardet');
var jschardet = require("jschardet");
var encoding = require("encoding");

var path = "lua目录"; 

function readDirectory(dirPath) {
    if (fs.existsSync(dirPath)) {
        var files = fs.readdirSync(dirPath);

        files.forEach(function (file) {
            var filePath = dirPath + "/" + file;
            var stats = fs.statSync(filePath);

            if (stats.isDirectory()) {
                // console.log('/n读取目录:\n', filePath, "\n");
                readDirectory(filePath);
            } else if (stats.isFile() && /\.lua$/.test(filePath)) {
                var buff = fs.readFileSync(filePath);
                if (buff.length && buff[0].toString(16).toLowerCase() == "ef" && buff[1].toString(16).toLowerCase() == "bb" && buff[2].toString(16).toLowerCase() == "bf") {
                    //EF BB BF 239 187 191
                    console.log('\n发现BOM文件:', filePath, "\n");

                    buff = buff.slice(3);
                    fs.writeFile(filePath, buff.toString(), "utf8");
                }

                // { encoding: 'UTF-8', confidence: 0.99 }
                // var charset = chardet.detectFileSync(filePath);
                var info = jschardet.detect(buff);

                if (info.encoding == "GB2312" || info.encoding == "ascii") {
                    var resultBuffer = encoding.convert(buff, "UTF-8", info.encoding);
                    fs.writeFile(filePath, resultBuffer, "utf8");
                }
                else if (info.encoding != "UTF-8" && chardet.detectFileSync(filePath) != "UTF-8")
                {
                    if (buff.toString().indexOf("\r\n") > -1)
                    {
                        var resultBuffer = encoding.convert(buff, "UTF-8", "GBK");
                        fs.writeFile(filePath, resultBuffer, "utf8");
                    }
                }
            }
        });

    } else {
        console.log('Not Found Path : ', dirPath);
    }
}

readDirectory(path);

注意上面的判断,第一个明确是 GB2312或者ascii时,直接将相应的编码转为 utf-8。而如果返回是格式,先判断是否有PC下的换行符,如果有则全部将它视为GBK进行处理。

整个思路其实是比较简单,难点在于如果判断文件编码格式。这个真的很难>_<,获取原编码格式后,调用 encoding.convert(buff, 目标编码格式, 原始编码格式); 便可得到所需要的编码。如果有空而且有兴趣,可以下载Notepad++的源码,看它是如何判断文件的编码格式

注:上面的方法所修改的文件,跟 Mac 上需要提交的文件列表是一致的,至少能解决我目前遇到的问题。如果有特殊的,可对上面的代码进行修正。

用到的第三方库:

编码相关的基础知识,可以参考阮一峰的这篇文章:http://www.ruanyifeng.com/blog/2007/10/ascii_unicode_and_utf-8.html

维基百科和其它资料太过专业化了,而且对 ASCII 编码的介绍不多,不再一一列举出来了。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 关于《Node.js开发指南》

    天天刷豆瓣,就盼着京东360有货到或者亚马逊有货到(最开始只有china-pub有货,但从亚马逊上下单要先付款RMB43.8--其中要多付10块钱的运费:(,...

    meteoric
  • flex+php截图Demo

    一、直接将byteArray转为bitmap通过loader(flash.display.Loader)显示在舞台上;

    meteoric
  • Node.js批量去除BOM文件

    之前的同事写了一个工具,但有bug,就是在替换文件后原文件的格式变成utf8 BOM了,这种带BOM的XML在Mac下可能读取不出来,所以就需要写个工具处理一下...

    meteoric
  • 骗子冒充淘宝客服骗78万 退款二维码扫前需当心

    随着科技的进步,网购和移动支付已经成为大多数人的选择,不分年龄、不限领域的人们共同享受着信息化、科技化带来的服务,但科技带来便捷服务的同时,也存在着信息泄露,诈...

    安恒信息
  • Confluence 6 MySQL 3.x 字符集编码问题

    MySQL 3.x is 已知在大写和小写转换的时候有些问题(non-ASCII)。

    HoneyMoose
  • 前端开发规范

    省略外链资源(图片及其它媒体资源)URL 中的 http / https 协议,使 URL 成为相对地址

    公众号php_pachong
  • 如何运行查看github上的项目-以今日头条(移动端)为例

    vue慢慢的成为前端的主流框架,虽然目前公司业务木有用到这一块的知识点,但小婷决定,每天花一两个小时的业余时间来学习知识点,以免被前端同行逐渐抛弃。

    王小婷
  • 机器学习(六)——线性回归的多变量、特征缩放、标准方程法

    机器学习(六) ——线性回归的多变量、特征缩放、标准方程法 (原创内容,转载请注明来源,谢谢) 一、多变量 当有n个特征值,m个变量时,h(x)=θ0+θ1x1...

    企鹅号小编
  • 机器学习(六) ——线性回归的多变量、特征缩放、标准方程法

    机器学习(六)——线性回归的多变量、特征缩放、标准方程法 (原创内容,转载请注明来源,谢谢) 一、多变量 当有n个特征值,m个变量时,h(x)=θ0+θ1x...

    用户1327360
  • python第四十五课——继承性之多继承

    测试模块 演示多继承的结构和使用: 子类:Child 直接父类(多个):Father、Mother 注意: 由于有多个直接父类,多个父类都要自己给其属...

    hankleo

扫码关注云+社区

领取腾讯云代金券