一个UTF-8 BOM的坑

小编前两天在用jmeter测试，使用CSV Data Set Config设置批量参数时，发现源数据文件的第一条数据总是读取失败。一通研究，最后发现原来是UTF-8 BOM惹的祸。

什么是BOM？

BOM——Byte Order Mark，就是字节序标记，是为UTF-16和UTF-32 准备的

• 在UCS 编码中有一个叫做”ZEROWIDTH NO-BREAK SPACE“的字符，它的编码是FEFF。而FFFE在UCS中是不存在的字符，所以不应该出现在实际传输中。
• UCS规范建议我们在传输字节流前，先传输字符”ZERO WIDTH NO-BREAK SPACE“。
• 如果接收者收到FEFF，就表明这个字节流是大字节序的；如果收到FFFE，就表明这个字节流是小字节序的。因此字符”ZERO WIDTH NO-BREAK SPACE“又被称作BOM。

BOM的作用：

• UTF-8不需要BOM来表明字节顺序，但可以用BOM来表明编码方式。字符”ZERO WIDTH NO-BREAK SPACE“的UTF-8编码是EF BB BF。所以如果接收者收到以EFBB BF开头的字节流，就知道这是UTF-8编码了。

小编遇到的问题的原因：

• 微软会在UTF-8文件中放置BOM，比如新建一个txt文档，输入中文，然后以UTF-8的格式进行保存，会自动带上BOM。（带BOM的UTF-8文件的开头会有U+FEFF，所以新建的空txt文件会有3字节的大小）

• 使用jmeter的OS ProcessSampler，通过CSV Data Set Config批量传参时，源数据文件保存时默认带上了U+FEFF的文件头，导致第一行的数据无法识别。

解决办法：

• 通过notepad++，将编码从UTF-8 BOM改成UTF-8然后保存就行了。

欢迎添加我们的搜狗测试微信号，与我们一起聊聊测试。