前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Go 中文和unicode字符之间转换

Go 中文和unicode字符之间转换

作者头像
孤烟
发布2020-09-27 11:14:52
4.6K0
发布2020-09-27 11:14:52
举报
文章被收录于专栏:golang开发笔记golang开发笔记

Unicode是为了解决传统的字符编码方案的局限而产生的,它为每种语言中的每个字符设定了统一并且唯一的二进制编码,以满足跨语言、跨平台进行文本转换、处理的要求。

在实际应用有很多需要中文和unicode转换的场景,这里主要介绍通过golang实现中文和unicode互相转换。

1、中文转unicode

这一步比较简单

示例

    sText := "hello 你好"
    textQuoted := strconv.QuoteToASCII(sText)
    textUnquoted := textQuoted[1 : len(textQuoted)-1]
    fmt.Println(textUnquoted)

2、unicode 转中文

网上有些例子,通过 u 分隔来实现,这种方式存在局限性。比如字符里面含有非中文字符,就会出现问题。

正确转换示例

package main

import (
    "fmt"
    "strconv"
    "strings"
)

func zhToUnicode(raw []byte) ([]byte, error) {
    str, err := strconv.Unquote(strings.Replace(strconv.Quote(string(raw)), `\\u`, `\u`, -1))
    if err != nil {
        return nil, err
    }
    return []byte(str), nil
}

func main() {
    sText := "hello 你好"
    textQuoted := strconv.QuoteToASCII(sText)
    textUnquoted := textQuoted[1 : len(textQuoted)-1]
    fmt.Println(textUnquoted)
    v, _ := zhToUnicode([]byte(textUnquoted))
    fmt.Println(string(v))
}
  1. strconv.Quote(s string)string -> 返回字符串在go语法下的双引号字面值表示,控制字符和不可打印字符会进行转义(t,n等)
  2. strconv.Unquote(s string)(t string,err error) -> 函数假设s是一个半引号、双引号、反引号包围的go语法字符串,解析它并返回它表示的值。(如果是单引号括起来的,函数会认为s是go字符字面值,返回一个单字符的字符串)
本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 1、中文转unicode
  • 2、unicode 转中文
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档