-多年互联网运维工作经验，曾负责过大规模集群架构自动化运维管理工作。 -擅长Web集群架构与自动化运维，曾负责国内某大型金融公司运维工作。 -devops项目经理兼DBA。 -开发过一套自动化运维平台（功能如下）： 1)整合了各个公有云API，自主创建云主机。 2)ELK自动化收集日志功能。 3)Saltstack自动化运维统一配置管理工具。 4)Git、Jenkins自动化代码上线及自动化测试平台。 5)堡垒机，连接Linux、Windows平台及日志审计。 6)SQL执行及审批流程。 7)慢查询日志分析web界面。
一直以为，java中任意unicode字符串，可以使用任意字符集转为byte[]再转回来，只要不抛出异常就不会丢失数据，事实证明这是错的。
在文件中所看到的字符串是系统把内存中的数据转换成二进制数再解码成一些字符最后显示，就是当你双击打开一个文本文件时系统会把内存的数码信息读取显示出来，当你保存一个文本文件时系统会把这个文件以你所设置的编码方式编码，再放进内存中。
发布者：全栈程序员栈长，转载请注明出处：https://javaforall.cn/153146.html原文链接：https://javaforall.cn
昨天的《MIME笔记》中提到，MIME主要使用两种编码转换方式—-Quoted-printable和Base64—-将8位的非英语字符转化为7位的ASCII字符。
昨天的《MIME笔记》中提到，MIME主要使用两种编码转换方式----Quoted-printable和Base64----将8位的非英语字符转化为7位的ASCII字符。
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
工作中遇到的“词汇”，主要是ASCII、GB2312、GBK、Unicode、UTF-8，还有URL Encode、URL Escape。
之前做一个POC的时候，Vicky同学遇到一个关于编码的问题，问到我，我觉得当时没有解释得很清楚，于是决定查阅相关的资料文档，写一篇文章，记录这个问题及对背后的原因、原理的理解。
一、问题的由来 URL就是网址，只要上网，就一定会用到。 一般来说，URL只能使用英文字母、阿拉伯数字和某些标点符号，不能使用其他文 字和符号。比如，世界上有英文字母的网址 “http://www.abc.com”，但是没有希腊字母的网址“http://www.aβγ.com”（读作阿尔法-贝塔-伽玛.com）。这是 因为网络标准RFC 1738 做了硬性规定： "...Only alphanumerics [0-9a-zA-Z], the special characters "$-_.+!*'()
一般来说，URL只能使用英文字母、阿拉伯数字和某些标点符号，不能使用其他文字和符号。比如，世界上有英文字母的网址"http://www.abc.com"，但是没有希腊字母的网址"http://www.aβγ.com"（读作阿尔法-贝塔-伽玛.com）。这是因为网络标准RFC 1738做了硬性规定：
日常工作中，频繁的使用base64取代小图标，以便减少HTTP请求进而达到性能优化的目的。基于此来聊聊编码的发展、为什么需要base64以及如何实现base64。此文章首发于聊聊编码那些事，顺带实现base64转载请注明来源。
Java各整数类型有固定的范围和字段长度，不受具体OS[操作系统]的影响，以保证java程序的可移植性。 Java的整型常量(具体值)默认为int型，声明long型常量须后加l或L
这种情况就是乱码，是因为我们输入的中文，往计算机中保存的时候，最终都要转成2进制的数据形式，也就是说有一个编码的过程，在保存文件的时候默认使用的是ANSI编码格式，浏览器显示文件中内容的时候，还需要将2进制的数据转换成文字形式显示出来，也就是说还有解码的过程，浏览器被指定为utf-8格式来解码，也就是说编码和解码不一致所造成的乱码
一个汉字占几个字节是不是不太好记呢，编码不一样则占字节位就不一样。下面用一段简短的代码了解一下一个汉字占几个字节。
和 utf8 等相关的 就是 Unicode，所以今天我们需要先请 Unicode 出场
TSINGSEE青犀视频云边端架构产品在接入多级通道时，在视频广场侧边栏都会显示分栏菜单，目的是为了让通道的区分更加清晰。近期我们在测试EasyCVR项目时，发现视频广场列表出现乱码现象。
一、字节编码的基础知识 一、计算机基础知识 #1 我们的程序都是运行在特定的操作系统内，例如window，linux，mac等等 #2 运行应用程序，需要要操作系统发出请求，我们双击运行的时候会向操作
# Auther: Aaron Fan ''' ASCII:不支持中文，1个英文占1个字节 Unicode(万国码，支持所有国家的文字显示)：支持中文，但是每个英文和中文都占2个字节 UTF-8（是一种针对Unicode的可变长度字符编码，又称万国码。）： 英文依然按照ASCII的方式占1个字节，所有的中文字符统一是3个字节 Unicode里面支持各个国家的编码转换，比如当中国的gbk格式的软件在日本打开出现乱码的时候， 必须把gbk转成Unicode编码后才可以正常显示。 GBK：
3.eval("8*6") eval("")里面只能执行表达式,执行eval()会有返回值,exec执行完无返回值.
这就是为什么我们在浏览器的地址栏中能看到中文，但是把地址拷贝出来后中文就变成了一些奇怪的串了。
二进制数据就像上图一样，由0和1来存储数据。普通的十进制数转化成二进制数一般采用"除2取余，逆序排列"法，用2整除十进制整数，可以得到一个商和余数；再用2去除商，又会得到一个商和余数，如此进行，直到商为小于1时为止，然后把先得到的余数作为二进制数的低位有效位，后得到的余数作为二进制数的高位有效位，依次排列起来。例如，数字10转成二进制就是1010，那么数字10在计算机中就以1010的形式存储。
今天，在学习 Node.js 中的 Buffer 对象时，注意到它的 alloc 和 from 方法会默认用 UTF-8 编码，在数组中每位对应 1 字节的十六进制数。想到了之间学习 ES6 时关于字符串的 Unicode 表示法，突然就很想知道 UTF-16 是如何进行编码的，我尝试将一些汉字转换成二进制数，然后简单的按 2 个字节一组转换成十六进制，发现对于那些码点较大的汉字，结果并不仅仅是简单的二进制转十六进制。于是，我开始在网上找资料，决心彻底弄明白 Unicode 编码。
我们经常看一些谍战剧，谍战剧里敌特、地下党员以及八路军各部间发送情报的时候，一般都是通过电报发送的，电报在传递的过程中，需要发报员用电键发出长短不一的电码，收报员就会听到电报机发出的滴滴滴答答答的声音。其实电报发出的声音都是"滴"和"答"的组合，"答"的声音是"滴"的三倍长。
参考文章: http://c.biancheng.net/view/36.html
对于很多人来说，python的中字符转码是一件很头疼的事情，本来期望结果输出的是中文，结果来一段像这样\xe4\xbd\xa0\xe5\xa5\xbd像是乱码的字符串。
（1）varchar (N)：中的N指的是字符的长度，即：该字段最多能存储多少个字符(characters)，不是字节数。不管是一个中英文字符或者数字、或者一个汉字，都当做一个字符。 【 a,我，1 都是一个字符，但是a和1是一个字节，‘我’（utf8下）是3个字节。 utf8mb4下：汉字也是3个字节，表情符号是4个字节 】 （2）varchar 最多能存储 65535 个字节的数据。 65535 = 所有字段的长度 + 变长字符的长度标识 + NULL标识位 变长字符的长度标识：用1到2个字节表示实际长度（长度 >255 时,需要2个字节； <255 时，需要1个字节） NULL标识位：varchar字段定义中带有 default null 允许列空,则需要 1 bit 来标识，每 8 个bits的标识组成一个字段。一张表中存在N个varchar字段，那么需要（N+7）/8 （取整）bytes存储所有的NULL标识位。
docsify 是一个动态生成文档网站的工具。不同于 GitBook、Hexo 的地方是它不会生成将 .md 转成 .html 文件，所有转换工作都是在运行时进行。
那么就带来一个问题，怎么用二进制来表示我们程序中需要使用的信息呢，比如 数字、字符、表情等等。
sname = name.decode("utf-8")# 必须先声明解码的格式是啥，比如utf-8
这些原始数据是存储在buffer类的实例中，一个buffer类就相当于是一个整数数组，他相当于是划出了一块自己的内存空间。
用爬虫在百度爬图片的时候,发现部分查询关键字的时候,出现爬不出图片的情况.比如在爬鱼的时候,就没有结果.爬鱼 图片就会有结果.
PS：数据传输大多以 bit 为单位，比如我们常说的网速100M/s，M/s其实Mbit/s，也就是兆比特每秒，我们还可以写成100Mbps。
这次要推荐一个在前端就能实现 汉字转拼音 的工具库 —— pinyin-pro 。
字符串在JavaScript中几乎无处不在，在你处理用户的输入数据的时候，在读取或设置DOM对象的属性时，在操作cookie时，当然还有更 多…。@雪斌在JavaScript中的字符串操作一文中讲的很详细，但是对于涉及Js字符串的比较，还是有必要再学习和探究下的。 字符串和其他对象比较大小 字符串和其他对象进行比较，大体要遵循下面的这些考量： 两个操作数都是数值，则进行数值比较 两个操作数都是字符串，则比较两个字符串对应的字符编码值 两个操作数有一个是数值，则将另一个转换为数值，再进行数值比较 两个操作数有
ASCII,ISO-8859-1,GB2312,GNBK,UTF-8,UTF-16等
计算机只能处理0、1，如果需要处理文字，要先将文字转成数字。最早的计算机将8个比特（bit）作为一个字节（byte）
背景为什么同样是男人，但有的男人'🧔♂️'.length === 5，有的男人'🧔♂'.length === 4呢？这二者都是JS中的字符串，要理解本质原因，你需要明白JS中字符串的本质，你需要理解 String Unicode UTF8 UTF16 的关系。本文，深入二进制，带你理解它！从 ASCII 说起各位对这张 ASCII 表一定不陌生：图片因为计算机只能存储0和1，如果要让计算机存储字符串，还是需要把字符串转成二进制来存。ASCII就是一直延续至今的一种映射关系：把8位二进制（首位为0）映射到
你说这车轱辘是圆的，地球是圆的，太阳是圆的，脑袋是圆的。万物之初之所以将万物设计成圆形肯定有它的意义。
1、什么实字符编码：将人识别的字符转换成计算机能识别的01,而转换的过程或者规则就是字符编码表。
GBK,ISO-8859-1,GB2312的本质区别 编码有几种 ，计算机最初是在美国等国家发明的 所以表示字符只有简单的几个字母只要对字母进行编码就好 我们标准码 iso-8859-1 这就是一个标准 但是后来计算机普及了 于是就中国要使用计算机了 但是机器不认得中文，于是就有了国际码。 gbk gb2312都是这类。两个其实一个，一个是标准（发布的代号），一个是简称。后来多了个阿拉伯语、日语、韩语......所以就出来统一编码UniCode ISO-8859-1编码是单字节编码，向下兼容ASCII，其编码范围是0x00-0xFF，0x00-0x7F之间完全和ASCII一致，0x80-0x9F之间是控制字符，0xA0-0xFF之间是文字符号。此字符集主要支持欧洲使用的语言。
python官方手册页：https://docs.python.org/zh-cn/3/ -> 标准库参考
【导读】你的五福集齐了吗？作为一名技术人，我们是不是可以用技术方法快速实现呢？今天，我们就为大家推荐四种新鲜的方法，生成风格不同又数量庞大的「福」字，让大家不用满世界找福字，动动手指即可。
简介 宽字节注入，它的作用可以绕过转义，也是绕过转义的其中一个办法 宽字节注入源于程序员设置MySQL连接时错误配置为：set character_set_client=gbk，php代码：mysql_query("SET
相信大家平时工作和生活中，都遇到过乱码的现象。比如PDF格式的文件复制粘贴到Word文件中，很容易出现错误，影响对文件的识别。那么这种现象是如何产生的呢？
Python 的编码问题早就困扰我太久了， 但一直没有看到比较通俗易懂的专门介绍 Python 编码问题的文章。 正好今天刷知乎看到了非常不错的文章， 这里稍微抛砖引玉归纳下。
最开始计算机只在美国用，八位的字节可以组合出256种不同状态。0-32种状态规定了特殊用途,一旦终端、打印机遇上约定好的这些字节被传过来时，就要做一些约定的动作，如：
今天在将已经爬取完存成txt文件批量导入保存csv格式时，文本中的汉字能够正常正常显示，但是用正常的方法保存到csv中就成了乱码。 最开始的写法：
本文主要讲解字符集和字符编码的一些概念，通常我们所说的字符集其实指的包含了字符编码集+字符编码。但字符集有时候有时候又只是字符编码集的简称，具体语义根据上下文判断理解就行，也不是必须分的很清楚。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
