Nmap操作系统探测技术浅析

“ 对于开源工具的使用，可以去读相关文章，大多数人都愿意去读，而且见效很快，立马就能上手用起来；对于开源工具的原理，还是能去读官方paper，但少有人愿意花时间去深究，因为见效慢，一般来说会用就满足需求。久而久之，可能就磨灭了对技术细节的好奇心，大家都会用，但用起来的效果却各有不同。”

很久之前，就想写一个叫《技术原理》的专题文章。恰好在去年的内部日常分享中，老王讲到了“操作系统探测技术分享”，算是一个不谋而合的、理想中的例子，遂在征得其同意情况下，输出与分享。

01

—

本文概要

不管是在渗透测试前期的信息收集，还是做安全资产管理，操作系统都是IP的一个重要属性。探测操作系统的方法也比较多，比如通过hids读取信息、使用常见命令探测、使用工具扫描等，最为的常见工具就是Nmap。但是其工作原理是怎样的呢，为什么能做到精准探测？本文将分析Nmap扫描时发送的数据包和响应，从而理解其原理。

02

—

常见OS探测方法

1、使用工具探测

• 1.1 xprobe 参考链接：https://sourceforge.net/projects/xprobe
• 1.2 nmap 参考链接：https://nmap.org/book/osdetect.html

操作系统识别指令：
nmap -O|A target

2、手工命令检测

借助返回信息，手工判断操作系统类型，比如：

• 2.1 telnet探测

• 2.2 ftp探测

• 2.3 http get探测

• 2.4 ssh探测

03

—

Nmap探测OS的优劣势

1、优势

• 用法简单，功能及⽂档全⾯，参数丰富，可⾃定义底层⽂件及脚本；
• 开源友好，⼤家普遍都在⽤，基本上不会对⽹络造成压⼒。

2、不足

• 受网络环境影响，在NAT环境下或有防⽕墙的环境下，很多信息探测不准确。

04

—

Nmap探测OS的原理

1、探测原理

不同OS在TCP/IP协议栈的实现上略有差异，NMAP会挑选3个端⼝发送⼀系列的探测包到⽬标地址。根据返回信息进⾏单元测试，然后形成指纹，并与⾃带的操作系统指纹库进⾏对⽐，最后得出结论：

（1）当匹配到多个操作系统指纹时，以概率的形式列举出可能的操作系统；

（2）当⽆法匹配到操作系统时，会将操作系统指纹打印出来⽤于⽤户⾃定义。

操作系统指纹库nmap-os-db，⽬前共有5654条操作系统指纹，格式如下：

其中，3个端口是指：

（1）⼀个开放的TCP端⼝：探测到的第⼀个开放端⼝；

（2）⼀个关闭的TCP端⼝：从1开始的关闭端⼝，⼀般情况下看到的就是1；

（3）⼀个关闭的UDP端⼝：随机UDP⾼端⼝

该部分内容，在nmap-os-db⽂件详解中的操作系统解释的SCAN部分(OT，CT，CU)有讲到。

其中，一系列的探测包是指：

（1）Sequence generation(SEQ，OPS，WIN，T1)
（2）ICMP Echo(IE)
（3）TCP explicit congestion notification(ECN)
（4）UDP(U1)
（5）TCP(T2 - T7)

2、探测流程nmap -O ip

-> 主机发现 
-> 开放端⼝探测 
-> 服务识别
-> 向其中1个开放的TCP端⼝发送探测包 
-> 发送ICMP探测包 
-> 向1个开放的TCP端⼝发送探测包
-> 向1个关闭的UDP端⼝发送UDP探测包 
-> 向1个开放的TCP端⼝及关闭的TCP端⼝发送探测包

• 2.1 主机发现

常规主机发现流程，不细讲，需要注意的是同⼀⼴播域中主机发现流程要多⼀步。

• 2.2 开放端口探测

向常⽤的1000个TCP端⼝(nmap-services中有定义)发送SYN请求，如果收到回应，则认为端口开放。

• 3.3 服务识别

并不是应⽤识别，这⾥直接匹配nmap-services中的对应服务，与操作系统中的系统服务相对应：

（1）Linux系统中的/etc/services

（2）Windows系统中的C:\windows\system32\drivers\etc\services

• 3.4 向1个开放的TCP端口发送探测包：6个

⽤于⽣成指纹库中的SEQ、OPS、WIN、T1⾏

• 以100毫秒的间隔，先后发送6个不包含任何数据，但包含不同TCP选项及滑动窗⼝的TCP SYN包

• SEQ：响应包序列分析

（1）SP: ISN序列可预测性指标；

（2）GCD:TCP ISN最⼤公约数；

（3）ISR:ISN的计数率；

（4）TI CI II: IP ID顺序产⽣算法；

（5）SS: 共享IP ID序列布尔值；

（6）TS: 时间戳选项算法。

• OPS：TCP包可选字段
• WIN: 包含6个数据包响应的窗⼝⼤⼩
• T1: TCP回复包的字段特征

（1）R: 是否有响应；

（2）DF: 不分⽚；

（3）T: IP初始⽣存时间；

（4）TG: 推测的IP⽣存时间；

（5）W: TCP初始窗⼝⼤⼩；

（6）S: TCP序列号；

（7）A: TCP确认号；

（8）F: TCP Flag；

（9）RD: TCP RST数据较验和。

• 3.5 发送ICMP探测包：2个

⽤于⽣成指纹库中的IE⾏，描述发送ICMP产⽣的特征：

Packet #7: ICMP Request, IP DF=set, TOS=0, Code=9, ICMP Sn=295, IP ID=random, ICMP ID=random，Payload为120字节数据，填充0x00
Packet #8: ICMP Request, IP DF=not set, TOS=4, Code=0, ICMP Sn=296, IP ID=random，ICMP ID=+1，Payload为150字节数据，填充0x00

其中：

• R: 表示是否有响应，两个ICMP包都有响应时才为Y；
• DFI: ICMP不分⽚；
• T: IP初始⽣存时间；
• TG: 推测的IP⽣存时间；
• CD: ICMP响应代码。

Sequence number（BE）和Sequence number（LE）区别：内容上只是顺序的不同，⽽对应的hex值是相同的。通过资料的查找，可以这样理解：

wireshark考虑到window系统与Linux系统发出的ping报⽂（主要指ping应⽤字段⽽⾮包含IP头的ping包）的字节顺序不⼀样（windows为LE：little-endian byte order，Linux为BE：big-endian），分别告诉信息，其本质内容是不变的，只是表达形式不同。

• 3.6 向1个开放的TCP端口发送探测包：1个

⽤于⽣成指纹库中的ENC(拥塞通知特性)：

Packet # 9: TCP SYN: TCP Flag ECN, CWR=set, urgent=0xF7F5, ACK=0, SEQ=random,
Window=3, TCP Option: WScale=10, NOP, MSS=1460, SACK, NOP, NOP

如图所示：

• R: 表示是否有响应；
• DF: 表示是否分⽚；
• T: 表示IP初始⽣存时间；
• TG: 推测的IP初始⽣成时间；
• W: TCP初始窗⼝⼤⼩；
• O: TCP选项；
• CC: 明确拥塞通知；
• Q: TCP混杂巧合。
• 3.7 向1个关闭的UDP端口发送探UDP测包：1个

⽤于⽣成指纹库中的U1⾏，如下图所示：

Packet #10: UDP, IP ID=0x1042, data=0x43*300

• IPL: IP总⻓度；
• UN: 未使⽤的端⼝不可达域⾮零；
• RIPL: 返回的IP包总⻓度值；
• RID: 返回的IP ID；
• RIPCK: IP包较验和完整性；
• RUCK: UP较验和完整性；
• RUD: 返回的UDP数据包完整性。
• 3.8 向1个开放的TCP端口及关闭的TCP端口发送探测包：3 + 3 = 6个

⽤于⽣成指纹库中的T2-T7⾏

Packet #11: T2, TCP null (no flags set) packet with the IP DF bit set and a window field of 128
->开放端⼝

Packet #12: T3, TCP packet with the SYN, FIN, URG, and PSH flags set and a window field of
256. The IP DF bit is not set 
-> 开放端⼝

Packet #13: T4, TCP ACK packet with IP DF and a window field of 1024 
-> 开放端⼝

Packet #14: T5, TCP SYN packet without IP DF and a window field of 31337 
-> 关闭的端⼝

Packet #15: T6, TCP ACK packet with IP DF and a window field of 32768 
-> 关闭的端⼝

Packet #16: T7, TCP packet with the FIN, PSH, and URG flags set and a window field of 65535.
The IP DF bit is not set 
-> 关闭的端⼝

05

—

高级玩法：精确识别Windows操作系统

1、使⽤nse脚本探测Windows系统版本(底层原理同2)

nmap --script smb-os-discovery.nse -p 445 127.0.0.1
nmap -sU -sS --script smb-os-discovery.nse -p U:137,T:139 127.0.0.1

2、使⽤SMB Session Setup ANDX Requests强制操作系统返回版本信息

参考链接：

SMB_COM_SESSION_SETUP_ANDX (0x73)
https://docs.microsoft.com/en-us/openspecs/windows_protocols/ms-cifs/d902407c-e73b-46f5-8f9e-a2de2b6085a2

存在的不足，只⽀持smb v2.x及其以后的版本(Windows server 2003 R2以后的版本) 。

参考资料：

NMAP第⼀代操作系统探测技术：https://nmap.org/nmap-fingerprinting-old.html
NMAP第⼆代操作系统探测技术：https://nmap.org/book/osdetect.html