Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
社区首页 >专栏 >mysql 过滤微信昵称表情符号_js 过滤微信昵称的表情符号

mysql 过滤微信昵称表情符号_js 过滤微信昵称的表情符号

作者头像
全栈程序员站长
发布于 2022-11-15 09:53:58
发布于 2022-11-15 09:53:58
3.6K0
举报

// 示例名称:

var str = “阿bc?d的fg?hm天l”;

// 将名称拆分为数组,注意: 这样会将表情拆分为两项,其值为代理对.

// 并且因为,代理对无法被浏览器识别,所以它们的值可能会被转化为 U+feff

var strArr = str.split(“”),

result = “”,

totalLen = 0;

for(var idx = 0; idx < strArr.length; idx ++) {

// 超出长度,退出程序

if(totalLen >= 16) break;

var val = strArr[idx];

// 英文,增加长度1

if(/[a-zA-Z]/.test(val)) {

totalLen = 1 + (+totalLen);

result += val;

}

// 中文,增加长度2

else if(/[\u4e00-\u9fa5]/.test(val)) {

totalLen = 2 + (+totalLen);

result += val;

}

// 遇到代理字符,将其转换为 “口”, 不增加长度

else if(/[\ud800-\udfff]/.test(val)) {

// 代理对长度为2,

if(/[\ud800-\udfff]/.test(strArr[idx + 1])) {

// 跳过下一个

idx ++;

}

// 将代理对替换为 “口”

result += “口”;

}

};

再说一下我的思路:

1) 首先我知道,这些表情其实也是一种文字,它可以看做某个UTF-16 的码点.可以参见这个附录:

2) 这些表情的码点在UTF-16中是有自己的范围的.而JS中可以通过正则表达式来检测一个文字的码点值

.从而判断它的类型,同理也可以用来判断它是不是 中文/英文等.在这个问题里,只需要判断其是否为中

文/英文即可.

3) 为什么是8个中文/16个英文啊?这到底是谁规定的? UTF8 是变长的,中文可能是 2-3个长度,UTF16 里面

中文和英文长度是一样的.所以我很想知道这个规则是干什么的?

PS: 这里的长度是编码单元长度,以 UTF16/UCS2 为例, 一个编码单元16位、2个字节,在UTF16下英文和中文

都是 U+0000 这样的形式,长度相等.除了部分代理对,它们的长度为2,占用32位、两个编码单元外(有无为3的我还

真不知道)。

欢迎大家来讨论.

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员栈长,转载请注明出处:https://javaforall.cn/230608.html原文链接:https://javaforall.cn

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2022年10月31日,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
为什么 "𠮷𠮷𠮷".length !== 3 ?
来自:https://juejin.cn/post/7025400771982131236
良月柒
2024/06/21
1080
为什么 "𠮷𠮷𠮷".length !== 3 ?
Java的String类中提到的代码点,代码单元到底是什么?
unicode是计算机科学领域里的一项业界标准,包括字符集、编码方案等。计算机采用八比特一个字节,一个字节最大整数是255,还要表示中文一个字也是不够的,至少需要两个字节,为了统一所有的文字编码,unicode为每种语言中的每个字符设定了统一并且唯一的二进制编码,通常用两个字节表示一个字符,所以unicode每个平面可以组合出65535种不同的字符,一共17个平面。
JavaEdge
2020/05/26
5150
Unicode 与 utf8 utf16 utf32的关系
Unicode是计算机领域的一项行业标准,它对世界上绝大部分的文字的进行整理和统一编码,Unicode的编码空间可以划分为17个平面(plane),每个平面包含2的16次方(65536)个码位。17个平面的码位可表示为从U+0000到U+10FFFF,共计1114112个码位,第一个平面称为基本多语言平面(Basic Multilingual Plane, BMP),或称第零平面(Plane 0)。其他平面称为辅助平面(Supplementary Planes)。基本多语言平面内,从U+D800到U+DFF
2018/05/28
2.2K0
【读码JDK】- java.lang.Character类Api介绍及测试
返回表示指定的char值的Character实例。 如果不需要新的Character实例,则通常应优先使用此方法,而不是构造函数Character(char) 因为此方法可能通过缓存频繁请求的值来显着提高空间和时间性能。
阿提说说
2022/12/02
1.1K0
为什么同一表情'🧔‍♂️'.length==5但'🧔‍♂'.length==4?本文带你深入理解 String Unicode UTF8 UTF16
背景为什么同样是男人,但有的男人'🧔‍♂️'.length === 5,有的男人'🧔‍♂'.length === 4呢?这二者都是JS中的字符串,要理解本质原因,你需要明白JS中字符串的本质,你需要理解 String Unicode UTF8 UTF16 的关系。本文,深入二进制,带你理解它!从 ASCII 说起各位对这张 ASCII 表一定不陌生:图片因为计算机只能存储0和1,如果要让计算机存储字符串,还是需要把字符串转成二进制来存。ASCII就是一直延续至今的一种映射关系:把8位二进制(首位为0)映射到
HullQin
2022/12/27
5.8K1
Unicode入门介绍和学习总结
描述:Unicode(中文:万国码、国际码、统一码、单一码)是计算机科学领域里的一项业界标准。它对世界上大部分的文字系统进行了整理、编码,使得计算机可以用更为简单的方式来呈现和处理文字。 Unicode至今仍在不断增修,每个新版本都加入更多新的字符。目前最新的版本为2019年5月公布的12.1该版本只新增了一个字符即日本新年号令和的合字。
全栈工程师修炼指南
2022/09/28
1.1K0
Unicode入门介绍和学习总结
关于前端处理表情符号问题(解决方案)
今天测试反馈一个问题,说是有表情符号的评论上传报错,很显然后台对于表情符号没有做相关的处理,让他们处理,他们说怎样怎样麻烦,算了,还是前端自己处理吧!
honey缘木鱼
2019/01/28
1.8K0
【计算机基础】utf6、utf16、utf32
和 utf8 等相关的 就是 Unicode,所以今天我们需要先请 Unicode 出场
神仙朱
2019/12/02
1.2K0
[十]基础数据类型之Unicode编码简介
(American Standard Code for Information Interchange,美国信息交换标准代码)
noteless
2018/10/12
9980
[十]基础数据类型之Unicode编码简介
Unicode入门介绍和学习总结
描述:Unicode(中文:万国码、国际码、统一码、单一码)是计算机科学领域里的一项业界标准。它对世界上大部分的文字系统进行了整理、编码,使得计算机可以用更为简单的方式来呈现和处理文字。 Unicode至今仍在不断增修,每个新版本都加入更多新的字符。目前最新的版本为2019年5月公布的12.1该版本只新增了一个字符即日本新年号令和的合字。
全栈工程师修炼指南
2020/10/23
1.8K0
Unicode入门介绍和学习总结
JDK9为何要将String的底层实现由char[]改成了byte[]?
大家好,我是二哥呀!如果你不是 Java8 的钉子户,你应该早就发现了:String 类的源码已经由 char[] 优化为了 byte[] 来存储字符串内容,为什么要这样做呢?
沉默王二
2022/04/14
3140
JDK9为何要将String的底层实现由char[]改成了byte[]?
日常踩坑实录
最近在抓取了几十万条微博数据,目的是对其进行情感分析,这就需要过滤掉内容中表情等特殊符号。在Google了一圈以后,发现很多方法过滤的效果不好,因此自己记录一下,如何更加全面的过滤掉表情符号。这个方法综合使用了正则表达式和emoji库。
GitOPEN
2020/02/14
1.9K0
从 JS 里的 MD5 转换踩坑开始说起
写 JS 代码的同学们不知道有没有注意过,后台接口通过 JSON 处理汉字字符、emoji 时,返回的是像 \u00ff 这样转义处理的字符,而不是它们的明文原文。这是为什么呢?
贤羽
2022/06/09
2.7K2
滴滴前端面试题
在说Unicode之前需要先了解一下ASCII码:ASCII 码(American Standard Code for Information Interchange)称为美国标准信息交换码。
夏天的味道123
2022/09/13
3580
JavaScript 有个 Unicode 的天坑
最近笔者在项目中遇到了emoji表情的处理,期间发现js处理多字节字符时会有较多坑,记录一下与各位分享。
疯狂的技术宅
2019/03/28
1.1K0
【原创】经验分享:一个小小emoji尽然牵扯出来这么多东西?
商品评价列表页,显示每条用户的评价详情,为了保护用户隐私,要求显示用户昵称时只能显示第一位和最后一位,其他的用※代替。
一枝花算不算浪漫
2020/10/09
8620
【原创】经验分享:一个小小emoji尽然牵扯出来这么多东西?
JavaScript emoji utils
也就是说,Unicode支持的编码范围是U+0000到U+10FFFF,能对应100多万个符号(0x10FFFF === 1114111)。这些符号被分组归入16个平面(panel),所以每个平面放65536(16^4 === 65536)个
ayqy贾杰
2019/06/12
2.1K0
JavaScript emoji utils
正则表达式 - 匹配 Unicode 和其他字符
      有时我们需要匹配 ASCII 范围之外的字符。现在已经有了可以表示超过10万个字符的Unicode 标准(http://www.unicode.org)。然而,Unicode 也没有完全舍
用户1148526
2023/05/11
3K0
正则表达式 - 匹配 Unicode 和其他字符
字符编码的那些事
之前看到ES6中对String扩展了不少新特性,字符串操作更加友好,比如"\u{1f914}",codePointAt(),String.fromCodePoint()。其中涉及到不少字符编码的知识,为了更好理解这些新特性,本文对字符编码相关知识做一个较全面的梳理和总结。
elson
2018/06/17
1.9K0
【拓展】谈谈字符编码:Unicode编码与emoji表情编码
码位(码点),对应编码术语中英文中的code point,指的是一个编码标准中为某个字符设定的数值,具有唯一性与一一对应性。码位只规定了一个字符对应的数值,并没有规定这个数值如何存储,视编码方案不同有不同的存储方式。
pingan8787
2020/08/17
8.5K0
推荐阅读
相关推荐
为什么 "𠮷𠮷𠮷".length !== 3 ?
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
查看详情【社区公告】 技术创作特训营有奖征文