我们都知道中国汉字有两种，简体字和繁体字，有些人喜欢用简体，有些人喜欢用繁体。可是大家在使用繁体字的过程中会发现有些字简体繁体一样，比如说“字”这个字，今天我们就来统计一下像这样的字占到所有汉字的百分之多少。
rime 有个很强的地方: 仓颉输入的时候, 想不起来, 可以输入拼音, 能提示对应字的仓颉的输入法. 也就是能用拼音反查对应的仓颉输入码.
JPinyin对汉字转拼音的支持，主要是通过预定的字典文件实现的。Jpinyin预定义了三个字典文件，如下图所示：
在某些场景中，可能为了方便用户快速搜索，使用拼音首字母的方式进行检索。举个例子，一个系统支持拼音首字母检索，那么输入hzlj就可以搜索出杭州龙井等商品结果，系统中提供一个字段用于存储拼音字母组合即可。（呃～～，在这里我们不讨论为什么不用索引进行检索等，只是给出一个case说明）。
如果字符的 Unicode 编码在简体字的范围内（即 0x4E00 到 0x9FFF 或 0x3400 到 0x4DBF），则判断该字符为简体字。 如果字符的 Unicode 编码在繁体字的范围内（即 0x20000 到 0x2A6DF），则判断该字符为繁体字。 如果字符的 Unicode 编码不在中文字符的范围内，则判断该字符不是中文字符。
需求，在搜索简体的时候，应该也能把繁体字搜出来。因为我们一般很少用繁体字进行搜索，所以本篇文章，仅仅从索引层的analyzer的char_filter入手，在索引的时候，将繁体字转化为简体且存储为简体的索引进行建立，然后搜索的时候就可以使用简体字来搜索。话不多说，来看下具体的流程步骤如何吧。
计算机内部由集成电路（Integrated Circuit,IC）构成，IC的所有引脚，只有直流电压0V和5V两个状态。也就是说，IC的一个引脚，只能表示两个状态。正是由于这个原因，决定了计算机的信息只能用二进制数处理。
项目首先从国内开始做，然后跟台湾那边谈了合作，要发行台湾版本。这过程中遇到一些问题，特别的坑，特此记录一下
今天有朋友问到关于字符串编码的问题，突然想到之前在看赵剑宇的.net的课程有很简单暴力的讲解，于是整理贴出来。
可以用OpenCC库。OpenCC（Open Chinese Convert）是一个开源的中文简繁转换库，旨在提供高质量的简繁体转换功能。它支持多种编程语言接口，包括C++、Python、Java和JavaScript等，使得不同背景的开发者可以轻松集成到自己的应用中。
也是出于这样的考虑中国国家标准总局于1981年制定并实施了 GB 2312-80 编码，即中华人民共和国国家标准简体中文字符集。后来厂商微软利用GB2312-80未使用的编码空间，收录GB 13000.1-93全部字符制定了GBK编码。
1写在前面 昨天卡塔尔🇶🇦输了比赛真是让人大跌眼镜啊😱，打破了世界杯东道主必胜的神律，也不知道王子们是怎么想的。🤣 今天是英格兰🏴Vs伊朗🇮🇷，🐷各位好运！~😘 后面的赛事我们就用ggplot画一个赛程图吧😁， 效果图如下：👇 📷 2用到的包 rm(list = ls()) library(tidyverse) library(tmcn) library(lubridate) library(RColorBrewer) 3示例数据 这里我事先在网上爬了赛程下来，这里就直接读入了。 dat <-
于是我有了三天时间赶我的极客时间「Rust 第一课」专栏的稿子。我想着三天怎么也能交出两篇稿子，结果就周五忙活一天，熬出一篇。
训练一个聊天机器人的很重要的一步是词向量训练，无论是生成式聊天机器人还是检索式聊天机器人，都需要将文字转化为词向量，时下最火的词向量训练模型是word2vec，所以，今天小编文文带你使用维基百科训练词向量。 4、繁简转换 上一篇中讲到了将文档从xml中抽取出来，下一步是将繁体字转换为简体字，那么我们使用opencc工具进行繁简转换，首先去下载opencc：https://bintray.com/package/files/byvoid/opencc/OpenCC 下载完成之后解压即可，随后使用命令： ope
在产品使用过程中，有的企业用户会进行对比测试：使用相同的文字段落，用上述两种方式进行对比测试。
Chinese-poetry 是本周 Github Trending 热门项目，截至 2 月 7 日，该项目已经获得了 2.5k 个「star」以及 199 个「fork」。 该诗词数据库包含5.5万首唐诗、26万首宋诗和 2.1 万首宋词. 唐宋两朝近 1.4 万古诗人, 和两宋时期 1.5K 词人，数据均来源于互联网。 数据库作者 Jackey Gao 认为，古诗是中华民族乃至全世界的瑰宝，我们应该传承下去，虽然有古典文集，但大多数人并没有拥有这些书籍。从某种意义上来说，这些庞大的文集离我们是有一定距离
当我们打开Ubuntu系统后，一些英语稍差一点的同学是不是用这个系统用起来感觉有点吃力呢？要是Ubuntu系统会讲中文就好了。那如何让Ubuntu这个系统学会中文呢？接下来就有我来带你们一步步的让自己的Ubuntu系统学会中文吧！！ ## （注意：可能有些步骤需要输入你的登录密码！！！）
字符编码知识：Unicode、UTF-8、ASCII、GB2312等编码之间是如何转换的？
<meta http-equiv=”Content-Type”content=”text/html; charset=gb2312″>
之前已经写过 那些实用的 Chrome 扩展神器 ，如果你不能上谷歌没法直接安装Chrome扩展，可以使用https://crxdl.com/ 这个网站下载crx文件，然后手动安装。
很多小伙伴把字库的字体商用也是常有的，可能是没有版权意识，也可能是抱有侥幸心理，如果造成巨大经济损失，往往得不偿失。
最近在做词向量相关工作，词向量的训练数据采用中文维基百科数据，训练之前，要对维基百科数据进行处理，这篇文章记录了一些处理过程及相关的脚本。
我们知道，计算机是以二进制为单位的，也就是说计算机只识别0和1,也就是我们平时在电脑上看到的文字，只有先变成0和1，计算机才会识别它的意思。这种数据和二进制的转换规则就是编码。计算机的发展中，有ASCII码，GBK，Unicode，utf-8编码。我们先从编码的发展史了解一下编码的进化过程。
图文图文吗，有图无文怎么行，平时没事儿咱也喜欢舞文弄墨一番，不过茶壶儿这书法比起名仕还是自叹不如哈，然而不得不说中国文字真的是博大精深，各种字体就像人生一样充满奇妙。
python中经常遇到这样那样的字符编码问题，尤其在处理网页源码时（特别是爬虫中）：
谈起简繁转换，许多人以为是小意思，按字转换就行了。事实上，汉语历史悠久，地域复杂，发展至今在字符级别存在“一简对多繁”和“一繁对多简”，在词语级别上存在“简繁分歧词”，在港澳台等地则存在“字词习惯不同”的情况。为此，HanLP新增了“简体”“繁体”“臺灣正體”“香港繁體”间的相互转换功能，力图将简繁转换做到极致。
计算机要处理各种字符，就须要将字符和二进制内码相应起来，这样的相应关系就是字符编码。
学习性能测试和接口测试的时候，免不了要找一些素材，分享几个公开的接口，帮助大家在学习过程中减少在搜集素材方面花费的时间。
模拟各种系统升级的画面，上班摸鱼的时候boss快过来了赶紧升级下 http://fakeupdate.net/
无论在是在编辑文本文件的时候，还是在制作网页的时候，总会遇到文本编码方式的问题。如果处理不当，就会出现乱码的问题。因此，有必要对文本的编码方式做一个详尽的了解。
位数：ASCII是用7位表示的，能表示128个字符；其扩展使用8位表示，表示256个字符。
<META> 是放于 <HEAD> 与 </HEAD>之间的标记，功用与变化等对，所以我公式化地介绍。 <meta name="Description" content="This is Chris's Home Page"> 该网页的描述，作用于搜索引擎的登录。 <meta name="Keywords" content="Chris, Web, Music, photo"> 该网页的关键字，作用于搜索引擎的登录。 <meta http-equiv="Expires" content="Tue, 09 Dec 1997 00:00:00 GMT"> <meta http-equiv="Pragma" content="no-cache"> 以上行功能相同，都是要浏览器重新载入该页，不要使用快取功能，当然可以修改 Expire （过期）时间。 <meta http-equiv="Content-Type" content="text/html; charset=gb2312"> <meta http-equiv="Content-Type" content="text/html; charset=iso-8859-1"> 设定这是 HTML 文件及其编码语系，简体中文网页使用charset=gb2312，繁体中文使用charset=big5，或者不设编码也可，纯英文网页建议使用 iso-8859-1。 <meta name="GENERATOR" content="Mozilla/4.04 [en] (Win95; I) [Netscape]"> <meta name="GENERATOR" content="Microsoft FrontPage 3.0"> 这只表示该网页由什么编辑器写的。 <meta http-equiv="refresh" content="10; url=http://www.hkiwc.com/"> 这行较为实用，能于预定秒数内自动转到指定网址。原代码中 10 表示 10秒。
不同计算机、不同程序对字符编码的识别都不一，容易因为不同国家、电脑系统、语言等因素，引起文件交换过程中出现编码不对的乱码现象。
MySQL是⼀个单进程多线程、⽀持多⽤户、基于客户机/服务器（Client/Server， C/S）的关系数据库管理系统。与其他数据库管理系统（DBMS）相⽐，MySQL具有体积⼩、易于安装、运⾏速度快、功能⻬全、成本低廉以及开源等特点。⽬前，MySQL已经得到了⼴泛的使⽤，并成为了很多企业⾸选的关系数据库管理系统。 MySQL拥有很多优势，其中包括以下⼏点。 1. 性能⾼效：MySQL被设计为⼀个单进程多线程架构的数据库管理 系统，保证了 MySQL使⽤较少的系统资源（例如CPU、内存），且能 为数据库⽤户提供⾼效 的服务。 2. 跨平台⽀持：MySQL可运⾏在当前⼏乎所有的操作系统上，例如Linux、 Unix、Windows以及Mac等操作系统。这意味着在某个操作系统上实现的 MySQL数据库可以轻松地部署到其他操作系统上。 3. 简单易⽤：MySQL的结构体系简单易⽤、易于部署，且易于定制，其独特的插 件式（pluggable）存储引擎结构为企业客户提供了⼴泛的灵活性，赋予了数据 库管理系统以卓越的紧致性和稳定性。 4. 开源：MySQL是世界上最受欢迎的开源数据库，源代码随时可访问，开发⼈员 可以根据⾃身需要量身定制MySQL。MySQL开源的特点吸引了很多⾼素质和有 经验的开发团队完善MySQL数据库管理系统。 5. ⽀持多⽤户：MySQL是⼀个⽀持多⽤户的数据库管理系统，确保多⽤户下数据 库资源的安全访问控制。MySQL的安全管理实现了合法账户可以访问合法的数 据库资源，并拒绝⾮法⽤户访问⾮法数据库资 源。
在编码的江湖中，"乱码"算得上我们遇到的最难缠的"敌人"之一,一旦遇上、轻则心情烦躁、重则心态崩溃。文章开头，让我们再次重温与"乱码"初见面的名场面。
我们经常看一些谍战剧，谍战剧里敌特、地下党员以及八路军各部间发送情报的时候，一般都是通过电报发送的，电报在传递的过程中，需要发报员用电键发出长短不一的电码，收报员就会听到电报机发出的滴滴滴答答答的声音。其实电报发出的声音都是"滴"和"答"的组合，"答"的声音是"滴"的三倍长。
这种情况就是乱码，是因为我们输入的中文，往计算机中保存的时候，最终都要转成2进制的数据形式，也就是说有一个编码的过程，在保存文件的时候默认使用的是ANSI编码格式，浏览器显示文件中内容的时候，还需要将2进制的数据转换成文字形式显示出来，也就是说还有解码的过程，浏览器被指定为utf-8格式来解码，也就是说编码和解码不一致所造成的乱码
今天给大家介绍一个开源的汉字库，里面提供了大量精确的汉字笔画数据，可以通过手绘模仿的方式来学习和练习书写汉字——hanzi-writer
相信在国外买手机一般都是英文，然后再支付刷机费用。但是HTC的手机都是内置中文的哦~这让我们无比高兴。 但是用过后就知道，繁体对我们来说不是问题，但问题是，语音搜索无法搜索简体字 =_=b 怎一个怂字了得？
字符是各种文字和符号的总称，包括各个国家文字，标点符号，图形符号，数字等。字符集是多个字符的集合，字符集种类较多，每个字符集包含的字符个数各不相同。下面为几项常见字符集及其区别
英文字母再加一些其他标点字符之类的也不会超过256个，用一个字节来表示一个字符就足够了(2^8 = 256)。但其他一些文字不止这么多字符，比如中文中的汉字就多达10多万个，一个字节只能表示256个字符，肯定是不够的，因此只能使用多个字节来表示一个字符。
一、iOS微信全文搜索技术的现状 全文搜索是使用倒排索引进行搜索的一种搜索方式。倒排索引也称为反向索引，是指对输入的内容中的每个Token建立一个索引，索引中保存了这个Token在内容中的具体位置。全文搜索技术主要应用在对大量文本内容进行搜索的场景。 微信终端涉及到大量文本搜索的业务场景主要包括联系人、聊天记录、收藏的搜索。这些搜索功能从2014年上线至今，已经多年没有更新底层搜索技术，聊天记录使用的全文搜索引擎还是SQLite FTS3，而现在已经有SQLite FTS5，收藏首页的搜索还是使用简单的Li
吴飞 任职于上海微电子装备（集团）股份有限公司，创新业务主管，计算机仿真和软件开发学科带头人。他从2000年开始学习和使用 Mathematica，《Mathematica演示项目笔记》作者，Wol
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
中文分句，乍一看是一个挺简单的工作，一般我们只要找到一个【。！？】这类的典型断句符断开就可以了吗。 对于简单的文本这个做法是已经可行了（比如我看到这篇文章里有个简洁的实现方法
乱码： 产生乱码的原因：就是你打开保存这个文件所采用的编码，和你打开这个文件所采用的编码格式不一样。
导语 |微信终端涉及到大量文本搜索的业务场景，主要包括联系人搜索、聊天记录搜索和收藏搜索等。近期微信团队对 IOS 微信的全文搜索技术进行了一次全面升级，本文将分享其选型与优化思路，详细解析全文搜索的应用数据库表格式、索引更新和搜索逻辑的优化细节。希望本文对你有帮助。 目录 1 IOS 微信全文搜索技术的现状 2 全文搜索引擎的选型与优化 2.1 搜索引擎选型 2.2 实现 FTS5 的 Segment 自动 Merge 机制 2.3 分词器优化 2.4 索引内容支持多级分隔
实验环境：Ubuntu + eclipse + python3.5 首先（1）下载最新中文wiki语料库： wget https://dumps.wikimedia.org/zhwiki/latest/zhwiki-latest-pages-articles.xml.bz2 （2）由于下载之后，语料库上的编码格式会有不同，因此需要进行处理一下：借鉴了这篇文章。 http://www.crifan.com/summary_python_string_encoding_decoding_difference_
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
