iOS MachineLearning 系列（10）—— 自然语言分析之文本拆解

珲少

发布于 2023-05-07 20:33:56

2300

发布于 2023-05-07 20:33:56

文章被收录于专栏：一“技”之长一“技”之长

iOS MachineLearning 系列（10）—— 自然语言分析之文本拆解

本系列的前几篇文章介绍了iOS中有关图像和视频处理的API，视觉处理主要有Vision框架负责，本篇起，将介绍在iOS中Machine Learning领域相关的自然语言处理框架：NaturalLanguage。

1 - 简介

NaturalLanguage是iOS种提供的一种处理自然语言的内置框架，使用它不会使应用的包体积增大，不会为应用带来额外的负担，且可以实现非常强大的语言处理功能。

NaturalLanguage默认支持多种语言，拥有如下能力：

检测一段文本所使用的语言。
将一段文本按照词组，句子，段落进行拆解。
进行词性分析。
进行语义分析。

本篇，我们主要介绍其文本拆解能力，及如何使用这些API。

2 - 拆解文本

我们先从一个简单的示例来看如何使用NaturalLanguage框架中的API进行文本拆解。

首先准备一段测试文本，如下：

最近，随着Chat-GPT4的发布，人工智能相关的资讯和话题再次火热了起来😄。有了人工智能的加持，对人们的生活以及各行各业的工作都将带来效率的极大提升。目前，各种大模型的发布层出不穷。这些大模型虽然功能非常强大（如文本理解，绘图等），但对于个人来说，要跑起这样一个模型来对外提供服务还是比较困难的，其需要有非常强大的算力支持。

这段文案有两个段落组成。我们可以先尝试对其内的单词进行拆解。使用NLTokenizer来解析文本，定义NLTokenizer实例如下：

let tokenizer = NLTokenizer(unit: .word)

其参数unit确定要解析的元素类型，枚举如下：

public enum NLTokenUnit : Int, @unchecked Sendable {
    // 以单词为基础进行拆解
    case word = 0 
    // 以句子为基础进行拆解
    case sentence = 1
    // 以段落为基础进行拆解
    case paragraph = 2 
    // 以文档为基础，此模式下会返回原字符串
    case document = 3 
}

调用如下的方法即可进行拆解任务：

tokenizer.enumerateTokens(in: string.startIndex ..< string.endIndex) { range, attribute in
    let word = string[range]
    self.showWord(string: String(word), type: attribute)
    return true
}

在回调block中，如果需要停止解析，返回false即可。解析的结果会将元素属性，所在原字符串中的范围进行返回。其中元素属性结构体定义如下：

public struct Attributes : OptionSet, @unchecked Sendable {

    public init(rawValue: UInt)

    // 包含数值    
    public static var numeric: NLTokenizer.Attributes { get }
    // 包含符号
    public static var symbolic: NLTokenizer.Attributes { get }
    // 包含表情
    public static var emoji: NLTokenizer.Attributes { get }
}

如果上面定义的3个静态值都没有命中，则表示当前元素只包含简单文本。

showWord方法简单实现如下：

func showWord(string: String, type: NLTokenizer.Attributes) {
    var t = ""
    if type.contains(.emoji) { t.append("[emoji]") }
    if type.contains(.numeric) { t.append("[num]") }
    if type.contains(.symbolic) { t.append("[sym]") }
    if t.isEmpty {
        t = "txt"
    }
    resultLabel.text = (resultLabel.text ?? "").appending("【\(string) - \(t)】")
}

分别以单词，句子和段落的模式进行拆解，效果如下所示：

可以看到，整体来说NaturalLanguage对于中文的解析能力还是比较强大的。

3 - 再看NLTokenizer 类

NLTokenizer类专门用来对文本进行拆解，本身比较简单。其中的NLTokenUnit用来设置拆解模式，内部Attributes结构体可以标记出所拆解出的元素所包含的属性。NLTokenizer类本身定义如下：

open class NLTokenizer : NSObject {
    // 初始化方法，设置拆解模式
    public init(unit: NLTokenUnit)
    // 拆解单元模式
    open var unit: NLTokenUnit { get }
    // 进行处理的字符串
    open var string: String?
    // 设置文本所使用的语言，如果不设置可以自行解析
    open func setLanguage(_ language: NLLanguage)
    // 解析文本某个位置的元素
    public func tokenRange(at index: String.Index) -> Range<String.Index>
    // 解析文本某个范围的元素
    public func tokenRange(for range: Range<String.Index>) -> Range<String.Index>
    // 枚举出所有元素
    public func enumerateTokens(in range: Range<String.Index>, using block: (Range<String.Index>, NLTokenizer.Attributes) -> Bool)
    // 解析所有元素
    public func tokens(for range: Range<String.Index>) -> [Range<String.Index>]
}