本文使用Lucene代码版本: 8.7.0
本文学习一下.fnm文件的格式与内容。
fnm文件主要存储域的基础信息,前面我们知道了,在fdt,fdm,fdx
三个文件中,配合存储了域的值信息,其中在fdt
文件中,存储域的值信息时,为了将每个值与域名能对应起来,存储了FieldNumberAndType
. 详情可查看 [lucene索引文件之fdt文件]http://huyan.couplecoders.tech/lucene/%E6%90%9C%E7%B4%A2%EF%BC%8C%E7%B4%A2%E5%BC%95%E6%96%87%E4%BB%B6/2021/01/04/lucene%E7%B3%BB%E5%88%97(%E5%85%AD)%E7%B4%A2%E5%BC%95%E6%A0%BC%E5%BC%8F%E4%B9%8Bfdt%E6%96%87%E4%BB%B6/)
众所周知,只有number不足以描述一个域的基础信息,至少要知道个名字吧?Number不足以描述,但是足以对应。
对应的就是在fnm
文件中存储的详细信息咯。
其中包括:
这个文件有个特殊的地方,就是写入部分及其简单,几十行就写完了,但是涉及到的属性比较多,我也没有搞清楚所有字段的作用,因此会有部分未知,等待补充。
直接快进到代码分析。
在8.7.0版本的默认配置下,对于域基础信息的编码,使用的是org.apache.lucene.codecs.lucene60.Lucene60FieldInfosFormat
类.
他比较简单,只有read
方法和write
方法,其中前者负责从磁盘读取某一个分片的所有域信息,后者负责将内存中的域信息写入文件。
@Override
public void write(Directory directory, SegmentInfo segmentInfo, String segmentSuffix, FieldInfos infos, IOContext context) throws IOException {
// fnm文件名字
final String fileName = IndexFileNames.segmentFileName(segmentInfo.name, segmentSuffix, EXTENSION);
try (IndexOutput output = directory.createOutput(fileName, context)) {
// 写入Header
CodecUtil.writeIndexHeader(output, Lucene60FieldInfosFormat.CODEC_NAME, Lucene60FieldInfosFormat.FORMAT_CURRENT, segmentInfo.getId(), segmentSuffix);
// infos-size, 一共有多少个field
output.writeVInt(infos.size());
//
for (FieldInfo fi : infos) {
// 检查一下一致性
fi.checkConsistency();
// 写入string 名字
output.writeString(fi.name);
// 编号
output.writeVInt(fi.number);
// 用一个byte来存储了四个符号位,分别代表
// hasVectors
// omitsNorms
// storePayloads
// soft_delete_field
byte bits = 0x0;
if (fi.hasVectors()) bits |= STORE_TERMVECTOR;
if (fi.omitsNorms()) bits |= OMIT_NORMS;
if (fi.hasPayloads()) bits |= STORE_PAYLOADS;
if (fi.isSoftDeletesField()) bits |= SOFT_DELETES_FIELD;
output.writeByte(bits);
// 一个byte标识的IndexOptionsByte
output.writeByte(indexOptionsByte(fi.getIndexOptions()));
// pack the DV type and hasNorms in one byte
// 一个byte标识的DocValuesType
output.writeByte(docValuesByte(fi.getDocValuesType()));
// long型的DocValuesGen
output.writeLong(fi.getDocValuesGen());
// mapOfStrings 属性值
output.writeMapOfStrings(fi.attributes());
// 写入形状
output.writeVInt(fi.getPointDimensionCount());
// 形状的剩下两个参数
if (fi.getPointDimensionCount() != 0) {
output.writeVInt(fi.getPointIndexDimensionCount());
output.writeVInt(fi.getPointNumBytes());
}
}
// Footer
CodecUtil.writeFooter(output);
}
}
比较简单,做了以下几个步骤:
这篇文章显得很水,但是其实看了蛮久,想力图看懂每一个字段的作用,生成方法等全部内容。
但是写的时候发现,这篇文章,应该是简单介绍fnm文件中,存储了什么内容,怎么编码,让人能够逐字节的读懂fnm文件。知道每一个字节的内容是哪个字段。
至于字段的含义及计算方法,却应该在索引过程之类的地方讲述,否则就打破了文件格式与索引过程
之间的边界。
边界很重要。
完。
以上皆为个人所思所得,如有错误欢迎评论区指正。
欢迎转载,烦请署名并保留原文链接。
联系邮箱:huyanshi2580@gmail.com
更多学习笔记见个人博客或关注微信公众号 <呼延十 >——>呼延十