在 C++ 中标记字符串

鲸落c

发布于 2022-11-14 16:40:26

5030

发布于 2022-11-14 16:40:26

文章被收录于专栏：鲸落学习笔记鲸落学习笔记

theme: channing-cyan highlight: a11y-dark

小知识，大挑战！本文正在参与“程序员必备小知识”创作活动。

标记字符串表示根据某些分隔符拆分字符串。有很多方法可以对字符串进行标记。在这篇文章中解释了其中的四个：

使用字符串流

一个字符串流与允许你从字符串，就好像它是一个流中读取流的字符串对象关联。下面是 C++ 实现：

#include <bits/stdc++.h>
using namespace std;
int main()
{
    string line = "juejin is a must try";
    vector <string> tokens;
    stringstream check1(line);
    string intermediate;
    while(getline(check1, intermediate, ' '))
    {
        tokens.push_back(intermediate);
    }
    for(int i = 0; i < tokens.size(); i++)
        cout << tokens[i] << '\n';
}

输出

juejin
is 
a 
must 
try

使用strtok()

// 根据给定的分隔符拆分 str[]。 并返回下一个令牌。 
// 它需要在循环中调用以获取所有令牌。 当没有更多令牌时，它返回 NULL。
char * strtok(char str[], const char *delims);

下面是 C++ 实现：

// 使用 strtok() 分割字符串的 C/C++ 程序
#include <stdio.h>
#include <string.h>
int main()
{
    char str[] = "juejin-for-juejin";
    char *token = strtok(str, "-");
    while (token != NULL)
    {
        printf("%s\n", token);
        token = strtok(NULL, "-");
    }

    return 0;
}

输出

juejin
for
juejin

strtok() 的另一个例子：

#include <string.h>
#include <stdio.h>
int main()
{
    char gfg[100] = "juejin - for - juejin - Contribute";
    const char s[4] = "-";
    char* tok;
    tok = strtok(gfg, s);
    while (tok != 0) {
        printf(" %s\n", tok);
        tok = strtok(0, s);
    }
    return (0);
}

输出

juejin 
for 
juejin 
Contribute

使用strtok_r()

就像 C 中的 strtok() 函数一样，strtok_r() 执行相同的任务，将字符串解析为标记序列。strtok_r() 是 strtok() 的可重入版本。我们可以通过两种方式调用 strtok_r()

// 第三个参数 saveptr 是一个指向 char * 变量的指针，strtok_r() 在内部使用该变量，
// 以便在解析相同字符串的连续调用之间维护上下文。
char *strtok_r(char *str, const char *delim, char **saveptr);

下面是一个简单的 C++ 程序来展示 strtok_r() 的使用：

#include<stdio.h>
#include<string.h>

int main()
{
    char str[] = "juejin for juejin";
    char *token;
    char *rest = str;

    while ((token = strtok_r(rest, " ", &amp;rest)))
        printf("%s\n", token);

    return(0);
}

输出

juejin 
for 
juejin

使用 std::sregex_token_iterator

在这种方法中，标记化是在正则表达式匹配的基础上完成的。更适合需要多个分隔符的用例。

下面是一个简单的 C++ 程序来展示 std::sregex_token_iterator 的使用：

#include <iostream>
#include <regex>
#include <string>
#include <vector>

std::vector<std::string> tokenize(
                    const std::string str,
                        const std::regex re)
{
    std::sregex_token_iterator it{ str.begin(),
                            str.end(), re, -1 };
    std::vector<std::string> tokenized{ it, {} };
    tokenized.erase(
        std::remove_if(tokenized.begin(),
                            tokenized.end(),
                    [](std::string const&amp; s) {
                        return s.size() == 0;
                    }),
        tokenized.end());

    return tokenized;
}

int main()
{
    const std::string str = "Break string
                a,spaces,and,commas";
    const std::regex re(R"([\s|,]+)");
    const std::vector<std::string> tokenized =
                        tokenize(str, re);
    
    for (std::string token : tokenized)
        std::cout << token << std::endl;
    return 0;
}

输出