这就是为什么我们在浏览器的地址栏中能看到中文，但是把地址拷贝出来后中文就变成了一些奇怪的串了。
ASCII,ISO-8859-1,GB2312,GNBK,UTF-8,UTF-16等
Java Source File 中Default encoding 改写成UTF-8(你所需的编码类型) 然后Update，OK确定就可以了。
JSP中文乱码的产生原因及解决方案在JSP的开发过程中，经常出现中文乱码的问题，可能一直困扰着大家，现在把JSP开发中遇到的中文乱码的问题及解决办法写出来供大家参考。首先需要了解一下Java中文问题的由来： Java的内核和class文件是基于unicode的，这使Java程序具有良好的跨平台性，但也带来了一些中文乱码问题的麻烦。原因主要有两方面，Java和JSP文件本身编译时产生的乱码问题和Java程序于其他媒介交互产生的乱码问题。首先Java（包括JSP）源文件中很可能包含有中文，而Java和JSP源文
在Python2.X及Python3有时经常碰到各种中文乱码的情况，这里整理了相关各种情况汇总。
最近要上个项目，其实很简单的东西，就是拼接一个url，不过url中的参数需要UrlEncode编码的，其实对我来说，这个问题很好解决，C#用HttpUtility.UrlEncode来进行编码，asp用Server.UrlEncode来进行编码。 问题解决了吗？问题刚刚开始 因为这个公用转向文件，是针对所有分站的，分站代码有.net和asp两种，文件编码格式也不一样。 头大的事情开始了。asp站的文件编码是gb2312，虽然.net的文件格式也是gb2312，但因为webconfig里设置的reque
Python的requests库是一个非常好用的库，这应该已经是大多写过爬虫的人的共识了。它的简洁易用给我们带来很大方便。然而，它也并不是非常完美。今天我们就说说它在处理中文编码方面的不足。
在编程中，大多数程序员都离不开编码问题: 系统的默认区域和语言设置，代码文件的编码，以及代码中字符串的编码。
在用ASP.NET写网上支付的接口程序时，遇到一个奇怪问题，通过表单提交过去的中文全是乱码，英文正常。而用asp程序进行测试，可以正常提交中文，asp页面中有这样的HTML代码： <meta http-equiv="Content-Type" content="text/html; charset=gb2312"> 可是将这个代码加入到ASP.NET页面中，依然解决不了问题。分析了一下，问题应该是编码引起的，对方的程序只能处理GB2312编码的页面提交过来的中文数据。难道加了上面的代码，ASP.NET却
python 中的 unicode是让人很困惑、比较难以理解的问题. 这篇文章 写的比较好，utf-8是 unicode的一种实现方式，unicode、gbk、gb2312是编码字符集.
重新登录之后生效。 现在查看一下当前设置： [plain] view plain copy
最近项目中涉及到了解析文件内容的需求，文件中全都是中文，由于这一过程中碰到的乱码问题实在过多，所以特地花时间研究了一下中文编码。本文中先介绍一下ASCII，GB2312，GBK和GB18030编码。
如上面代码，str\str1\str2均为字符串类型（str）,给字符串操作带来较大的复杂性。
有没有遇到过这样的问题，读取文件被提示“UnicodeDecodeError”、爬取网页得到一堆乱码，其实这些都是编码惹的祸，如果不能真正理解编码的问题所在，就像开车没有带导航，游泳没有带有度数的眼镜。如果你正在为此而 头疼，不妨来看看这篇文章，里面或许有你要的答案。
最近闲的发慌，博客不更新就不爽。 顺手写了一个类似一言的玩意。 原理很简单，就是一堆一小段的话， 接着explode分割成数组，接着随机取值。 也就是随机输出一段话，充实自己的网站。 本接口由PHP编写！ 接着介绍下参数，首先你下载（文件在下面）后会有一个text.php的文件。 上传空间/服务器，接着直接访问试试，在刷新试试？ 接着来个示例:https://api.yya.gs/text.php 我们都很擅长口是心非，但又希望对方能有所察觉。 如何？默认他是输
在以前的学习当中，比方说有一次的写采集过程中转换字符的编码的时候老是失败，转换的结果总没有完全输出，后来经过网络查询得知是iconv有一个“-”漏洞，所以我们有必要掌握PHP的另一个字符编码函数mb_convert_encoding。
以下内容转自博客：http://blog.chinaunix.net/uid-22670933-id-1771613.html。
计算机最初的操作系统支持的编码是单字节的字符编码，于是，在计算机中一切处理程序最初都是以单字节编码的英文为准进行处理。随着计算机的发展，为了适应世界其它民族的语言(当然包括我们的汉字)，人们提出了UNICODE编码，它采用双字节编码，兼容英文字符和其它民族的双字节字符编码，所以，目前，大多数国际性的软件内部均采用UNICODE编码，在软件运行时，它获得本地支持系统(多数时间是操作系统)默认支持的编码格式，然后再将软件内部的UNICODE转化为本地系统默认支持的格式显示出来。java的JDK和jvm即是如此，我这里说的JDK是指国际版的JDK，我们大多数程序员使用的是国际化的JDK版本，以下所有的JDK均指国际化的JDK版本。我们的汉字是双字节编码语言，为了能让计算机处理中文，我们自己制定的gb2312、GBK、GBK2K等标准以适应计算机处理的需求。所以，大部分的操作系统为了适应我们处理中文的需求，均定制有中文操作系统，它们采用的是GBK,GB2312编码格式以正确显示我们的汉字。如：中文Win2K默认采用的是GBK编码显示，在中文WIN2k中保存文件时默认采用的保存文件的编码格式也是GBK的，即，所有在中文WIN2K中保存的文件它的内部编码默认均采用GBK编码，注意：GBK是在GB2312基础上扩充来的。
这是因为JAVA中默认的编码方式是UNICODE，而中国人通常使用的文件和DB都是基于GB2312或者BIG5等编码，故会出现此问题。
在以前的学习当中，比方说有一次的写采集过程中转换字符的编码的时候老是失败，转换的结果总没有完全输出，后来经过网络查询得知是iconv有一个“-”漏洞，所以我们有必要掌握PHP的另一个字符编码函数mb_convert_encoding。 mb_convert_encoding函数为php内部多字节字符串编码转换函数，可以在有需要的使用场合（如：解决在GB2312编码环境下使用Ajax产生的中文字乱码的问题）方便进行编码转换，以解决网页乱码的问题，使用非常方便，效率非常高，几乎支持所有编码。PHP 4 >= 4
我们在使用Python的过程中，是通过编码实现的。编码格式是可以设定的，如果我们想要输入时编码格式时字符串编码，这时可以使用python中的decode函数。decode函数可以以 encoding 指定的编码格式解码字符串，并默认编码为字符串编码。
1、getBytes是java字符串处理的标准函数，其作用是按照charset编码字符串所表示的字符，并以字节形式表示。
字符串在Python内部的表示是unicode编码，因此，在做编码转换时，通常需要以unicode作为中间编码，即先将其他编码的字符串解码（decode）成unicode，再从unicode编码（encode）成另一种编码。
大家好，又见面了，我是你们的朋友全栈君。 字符乱码的事，估计大家都遇到过，很烦，什么utf-8、GBK、GB2312转来转去，不知道什么时候才能转正常。我们做个试验，如果你是windows系统，打开记事本，新建一个文件，输入”联通”两个字之后，保存，关闭，然后再次打开，出现了什么现象？乱码！那你赶紧去找IT吧，你中招了！开玩笑的，这是著名的“windows联通之谜事件”。继续往下看，后面会有谜底的解释。那么我们就讨论下字符编码哪些事吧，首先我们看几个真实遇到的乱码的故障实例。
什么是JSON JSON（JavaScript Object Notation）是一种轻量级的数据交换语言，以文字为基础，且易于让人阅读。JSON是Javascript的一个子集，但JSON是独立于语
字符(Character)是各种文字和符号的总称，包括各国家文字、标点符号、图形符号、数字等。 字符集(Character set)是多个字符的集合，字符集种类较多，每个字符集包含的字符个数不同，常见字符集名称：ASCII字符集、GB2312字符集、BIG5字符集、 GB18030字符集、Unicode字符集等。计算机要准确的处理各种字符集文字，需要进行字符编码，以便计算机能够识别和存储各种文字。 字符编码（Character encoding）是把字符集中的某个字符编码为指定字符集中字符，以便文本在计算机中存储和通过通信网络的传递。常见的例子包括将拉丁字母表编码成ASCII，ASCII将字母、数字和其它符号编号，并用7比特的二进制来表示。 字符序(collation)是指同一个字符集内字符之间的比较规则。只有确定字符序后，才能在一个字符集上定义什么是等价的字符，以及字符之间的大小关系。一个字符可以包含多种字符序。MySQL字符序命名规则是：以字符序对应的字符集名称开头，以国家名居中(或以general居中)，以ci、cs、或bin结尾。以ci结尾的字符序表示大小写不敏感，以cs结尾的字符序表示大小写敏感，以bin结尾的字符序表示按二进制编码值比较。
本公众号之前发表了一些关于 MySQL 符集的文章: 从 utf8 转换成 utf8mb4 、 字符集相关概念 、 有关 SQL 语句 、 字符集注意事项 、 乱码问题 。
版权声明：本文为博主原创文章，欢迎扩散，扩散请务必注明出处。 https://blog.csdn.net/robinson_0612/article/details/91175314
大家都知道，不同字符编码，其在内存占用的字节数不一样。如 ASCII编码字符占用1个字节,UTF-8编码的中文字符是3字节,GBK为2个字节。
在很多项目里,或者一些应用上，我们经常需要把一些文件导入到SAP系统里,最经常我们使用的读取数据的方法就是使用GUI_UPLOAD这个FM.在这个FM中有个CODEPAGE,是用来指定代码页的. 如果我们导的是中文的话,我们经常使用的是8400.当然还有8401,8411等等. 主要介绍一下8400/8401.因为大家最常用的是8400.看8400的介绍上说,是based on GB2312-EUC版本,WINDOWS的代码页就是CP936.8401使用的就是GB18030 2000编码.那么他们的区别在哪里呢. 1、 GB2312 GB2312(1980年)一共收录了7445个字符，包括6763个汉字和682个其它符号。汉字区的内码范围高字节从B0-F7，低字节从A1-FE，占用的码位是72*94=6768。其中有5个空位是D7FA-D7FE。 在windows中的代码页是CP936 2、 GBK GBK最初是由微软对GB2312的扩展，也就是CP936字码表 (Code Page 936)的扩展（原来的CP936和GB 2312-80一模一样），最初出现于Windows 95简体中文版中，由于Windows产品的流行和在大陆广泛被使用，中华人民共和国国家有关部门将其作为技术规范。注意GBK并非国家正式标准，只是国家技术监督局标准化司、电子工业部科技与质量监督司发布的“技术规范指导性文件”。虽然 GBK收录了所有Unicode 1.1及GB 13000.1-93之中的汉字，但是编码方式与Unicode 1.1及GB 13000.1-93不同。仅仅是GB 2312到GB 13000.1-93之间的过渡方案。GBK收录了21886个符号，它分为汉字区和图形符号区。汉字区包括21003个字符。 GBK作为对GB2312的扩展，在现在的windows系统中仍然使用代码页CP936表示，但是同样的936的代码页跟一开始的936的代码页只支持GB2312编码不同，现在的936代码页支持GBK的编码，GBK同时也向下兼容GB2312编码。 3、 GB18030 2000年的GB18030取代了GBK1.0的正式国家标准。该标准收录了27484个汉字，同时还收录了藏文、蒙文、维吾尔文等主要的少数民族文字。现在的PC平台必须支持GB18030，对嵌入式产品暂不作要求。所以手机、MP3一般只支持GB2312。 GB18030在windows中的代码页是CP54936。 4、 GB13000 GB13000等同于国际标准的《通用多八位编码字符集 (UCS)》 ISO10646.1，就是等同于Unicode的标准，代码页等等的都使用UTF的一套标准。 从ASCII、GB2312、GBK到GB18030，这些编码方法是向下兼容的，即同一个字符在这些方案中总是有相同的编码，后面的标准支持更多的字符。在这些编码中，英文和中文可以统一地处理。区分中文编码的方法是高字节的最高位不为0。按照程序员的称呼，GB2312、GBK到GB18030都属于双字节字符集 (DBCS)。
这个错误通常表示在尝试将字节解码为Unicode字符时出现了问题。在本文中，我们将详细讲解这个错误信息的原因，并提供一些解决方案。
这篇文章将是大猫《如何搞定头疼的编码》一文的一部分，当时本来想做一个完整的有关“R与编码”的笔记，没想到后来洋洋洒洒写了六七千字，估计一时半会也完成不了，所以先选出其中有意思的一节同大家分享。
UNICODE,GBK,UTF-8区别 简单来说，unicode，gbk和大五码就是编码的值，而utf-8,uft-16之类就是这个值的表现形式．而前面那三种编码是一兼容的，同一个汉字，那三个码值是完全不一样的．如＂汉＂的uncode值与gbk就是不一样的，假设uncode为a040，gbk为b030，而uft-8码，就是把那个值表现的形式．utf-8码完全只针对uncode来组织的，如果ＧＢＫ要转ＵＴＦ－８必须先转uncode码，再转utf-8就ＯＫ了． 详细的就见下面转的这篇文章． 谈谈Unicode编码，简要解释UCS、UTF、BMP、BOM等名词 这是一篇程序员写给程序员的趣味读物。所谓趣味是指可以比较轻松地了解一些原来不清楚的概念，增进知识，类似于打RPG游戏的升级。整理这篇文章的动机是两个问题： 问题一： 使用Windows记事本的“另存为”，可以在GBK、Unicode、Unicode big endian和UTF-8这几种编码方式间相互转换。同样是txt文件，Windows是怎样识别编码方式的呢？ 我很早前就发现Unicode、Unicode big endian和UTF-8编码的txt文件的开头会多出几个字节，分别是FF、FE（Unicode）,FE、FF（Unicode big endian）,EF、BB、BF（UTF-8）。但这些标记是基于什么标准呢？ 问题二： 最近在网上看到一个ConvertUTF.c，实现了UTF-32、UTF-16和UTF-8这三种编码方式的相互转换。对于Unicode(UCS2)、GBK、UTF-8这些编码方式，我原来就了解。但这个程序让我有些糊涂，想不起来UTF-16和UCS2有什么关系。 查了查相关资料，总算将这些问题弄清楚了，顺带也了解了一些Unicode的细节。写成一篇文章，送给有过类似疑问的朋友。本文在写作时尽量做到通俗易懂，但要求读者知道什么是字节，什么是十六进制。 0、big endian和little endian big endian和little endian是CPU处理多字节数的不同方式。例如“汉”字的Unicode编码是6C49。那么写到文件里时，究竟是将6C写在前面，还是将49写在前面？如果将6C写在前面，就是big endian。如果将49写在前面，就是little endian。 “endian”这个词出自《格列佛游记》。小人国的内战就源于吃鸡蛋时是究竟从大头(Big-Endian)敲开还是从小头(Little-Endian)敲开，由此曾发生过六次叛乱，一个皇帝送了命，另一个丢了王位。 我们一般将endian翻译成“字节序”，将big endian和little endian称作“大尾”和“小尾”。 1、字符编码、内码，顺带介绍汉字编码 字符必须编码后才能被计算机处理。计算机使用的缺省编码方式就是计算机的内码。早期的计算机使用7位的ASCII编码，为了处理汉字，程序员设计了用于简体中文的GB2312和用于繁体中文的big5。 GB2312(1980年)一共收录了7445个字符，包括6763个汉字和682个其它符号。汉字区的内码范围高字节从B0-F7，低字节从A1-FE，占用的码位是72*94=6768。其中有5个空位是D7FA-D7FE。 GB2312支持的汉字太少。1995年的汉字扩展规范GBK1.0收录了21886个符号，它分为汉字区和图形符号区。汉字区包括21003个字符。 从ASCII、GB2312到GBK，这些编码方法是向下兼容的，即同一个字符在这些方案中总是有相同的编码，后面的标准支持更多的字符。在这些编码中，英文和中文可以统一地处理。区分中文编码的方法是高字节的最高位不为0。按照程序员的称呼，GB2312、GBK都属于双字节字符集 (DBCS)。 2000年的GB18030是取代GBK1.0的正式国家标准。该标准收录了27484个汉字，同时还收录了藏文、蒙文、维吾尔文等主要的少数民族文字。从汉字字汇上说，GB18030在GB13000.1的20902个汉字的基础上增加了CJK扩展A的6582个汉字（Unicode码0x3400-0x4db5），一共收录了27484个汉字。 CJK就是中日韩的意思。Unicode为了节省码位，将中日韩三国语言中的文字统一编码。GB13000.1就是ISO/IEC 10646-1的中文版，相当于Unicode 1.1。 GB18030的编码采用单字节、双字节和4字节方案。其中单字节、双字节和GBK是完全兼容的。4字节编码的码位就是收录了CJK扩展A的6582个汉字。例如：UCS的0x3400在GB18030中的编码应该是8139EF30，UCS的0x3401在GB18030中的编码应该是8139EF31。 微软提供了GB18030的升级包，但这个升级包只是提供了一
================================================起================================================
上传到 ftp 服务器，中文出现乱码解决，之前文件名 “ 网关信息 ” 始终不能正确显示，尝试了多种编码，最后GB2312 为可以用的编码，
| 导语 本文主要介绍了业务中常见的ASCII、GB2312、GBK、GB18030、UTF8、ANSI、Latin1中文编码。如果你在业务中也曾经被乱码搞晕过，不妨我们一起探究一下。 PS：文末有今天儿童节粉丝福利活动哦！ 最近我的业务中涉及到了包含中文文本的内容解析。业务场景是用户上传一个包含中文的文本文件，我们需要根据约定好的字段格式解析该文本，并将内容导入到数据库中。但用户所传上来的文件中文编码经常会不一样，于是我们的数据库中经常会有乱码出现。为了解决该问题，就有了这篇文章…… 1、字符编码要做
这个问题是因为JAVA编码方式转换出现了问题，Java中默认的编码方式是UNICODE，而中国人通常使用的文件和DB都是基于GB2312或者BIG5等编码，故会出现此问题。我知道一定有很多朋友也会碰到这个问题，所以特就总结了一下，来拿出来让大家一起分享了。自己也做个备忘。
字符串在Python2.7内部的表示是unicode编码，因此，在做编码转换时，通常需要以unicode作为中间编码，即先将其他编码的字符串解码成unicode，再从unicode编码成另一种编码。
由于客户需求，需要按照汉字的首字拼音排序，项目开发中免不了数据的排序问题，排序中又免不了对中文的处理。今天分享一下如何在mysql中对中文进行排序，介绍下thinkphp连贯操作的order底层原理
character-set-server/default-character-set：服务器字符集，默认情况下所采用的。 character-set-database：数据库字符集。 character-set-table：数据库表字符集。 优先级依次增加。所以一般情况下只需要设置character-set-server，而在创建数据库和表时不特别指定字符集，这样统一采用character-set-server字符集。 character-set-client：客户端的字符集。客户端默认字符集。当客户端向服务器发送请求时，请求以该字符集进行编码。 character-set-results：结果字符集。服务器向客户端返回结果或者信息时，结果以该字符集进行编码。 在客户端，如果没有定义character-set-results，则采用character-set-client字符集作为默认的字符集。所以只需要设置character-set-client字符集。
字符串在Python内部的表示是unicode编码，因此，在做编码转换时，通常需要以unicode作为中间编码，即先将其他编码的字符串解码(decode)成unicode，再从unicode编码(encode)成另一种编码。
我们知道，计算机是以二进制为单位的，也就是说计算机只识别0和1,也就是我们平时在电脑上看到的文字，只有先变成0和1，计算机才会识别它的意思。这种数据和二进制的转换规则就是编码。计算机的发展中，有ASCII码，GBK，Unicode，utf-8编码。我们先从编码的发展史了解一下编码的进化过程。
*首先要搞清楚，字符串在Python内部的表示是unicode编码，因此，在做编码转换时，通常需要以unicode作为中间编码，
MySQL中，数据库的编码是一个相当重要的问题，有时候我们需要查看一下当前数据库的编码，甚至需要修改一下数据库编码。
发现授权文件，刷新抓包得到一处ajax请求指向了TicketsSellMainHandler.ashx文件
#-- coding:gbk -- 指定文件编码 #Author:lei import sys print(sys.getdefaultencoding()) s = "你好" print(s) print(s.encode("gbk")) #编码都会转成bytes类型 print(s.encode("utf-8")) gbk_to_utf8 = s.encode("gbk").decode("gbk").encode("utf-8") print(gbk_to_utf8) #unicode 统一的万维码
在php中iconv函数库能够完成各种字符集间的转换，是php编程中不可缺少的基础函数库；但有时候iconv对于部分数据转码会无缘无故的少一些。比如在转换字符”—”到gb2312时会出错。
我们很多朋友在利用DEDECMS织梦程序建站的时候，由于程序本身是有多个编码版本的，比如有UTF-8和GB2312的，我们的主程序安装好之后但是在选择主题模板的时候也是有编码区别的，这个就比较难搞。我们要么就重新安装同主题模板一样编码的主程序，要么就是更换主程序编码。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
云直播
