首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    Python学习(3):理解计算机中编码三、认识常见的计算机编码

    我们学习Python编程,经常对字符串这样的数据进行处理。我们也都知道计算机内部信息是采用二进制编码的,那么这其中的处理原理是什么呢?本篇就计算机中关于编码的知识进行总结。 一、为什么计算机内部信息采用二进制编码 计算机是由逻辑电路组成的,而逻辑电路只有接通与断开两个状态,正好可以对映二进制的“1”与“0”。这样的计算机设计在技术上会简单许多。 二、计算机编码的由来 计算机内部信息采用二进制编码,这决定了它只能直接识别0和1。我们所有各类型数据也都需要被转换为二进制0和1的序列存放在计算机中的。但是这样就产

    03

    原生js之字符串截取[通俗易懂]

    slice(start, end+1), substring(start, end+1), substr(start, n). slice(start, end+1): 两个参数时,参数指截取位置,截取含头不含尾;一个参数时,默认截取到字符串结尾。参数可以为负数,负数就倒着数位置。 substring(start, end+1): 两个参数时,参数指截取位置,截取含头不含尾;一个参数时,默认及渠道字符串结尾。参数不可以为负数。 substr(start, n): 两个参数时,第一个参数指截取起始位置,第二个参数指截取字符个数;一个参数时,默认截取到字符串结尾。第一个参数可为负数,第二个不可为负数。 example: var str = “今天是星期二”; console.log(str.slice(3, 6)); // 截取“星期二”并打印 console.log(str.slice(3, -1)); // 截取“星期”并打印 console.log(str.slice(3,-3)); // 未截取任何信息,因为正着数第三位是“星”,倒着数第三位也是“星”,截取取头不取尾,头和尾重了,所以没有截取到任何信息。 console.log(str.slice(-2, -3)); // 同理因为倒数第二位是“期”,倒数第三位是“星”,不能反着截取,所以没有截取到任何信息。 console.log(str.substring(3,6)); // 截取“星期二”并打印 console.log(str.substr(3, 3)); // 截取“星期二”并打印 console.log(str.substr(-1, 3)); //截取“二”并打印。因为倒着数第一位是“二”,虽然此时要截取的长度是3,但是因为只有一位,所以只能截取一位。

    02

    基于凝聚度和自由度的非监督词库生成

    中文分词是中文文本自然语言处理的第一步,然而分词效果的好坏取决于所使用的语料词库和分词模型。主流的分词模型比较固定,而好的语料词库往往很难获得,并且大多需要人工标注。这里介绍一种基于词频、凝聚度和自由度的非监督词库生成方法,什么是非监督呢?输入一大段文本,通过定义好的模型和算法,即可自动生成词库,不需要更多的工作,听起来是不是还不错? 参考文章:互联网时代的社会语言学:基于SNS的文本数据挖掘,点击阅读原文即可查看。访问我的个人网站查看更详细的内容,包括所使用的测试文本和代码。 获取所有的备选词语 假设对于

    05

    python第二十八课——编码小常识

    2.内存和硬盘: 内存:计算机硬件组成部分之一,它是一个容器,用来存储数据;处理数据速度快, 存储数据量小;断电死机数据会丢失,短暂性存储数据 硬盘:计算机硬件组成部分之一,它是一个容器,用来存储数据;处理数据速度慢, 存储数据量大,断电死机数据不会丢失,数据的持久存储 3.字节和字符 字节:计算机的存储数据的单位,底层唯一能够识别并且运算的数据 字符:人类将字节封装为另一种能直接识别的数据单位,底层还是字节 4.如何区分字节文件和字符文件 如果使用文本编辑器打开能看得懂(不会乱码)那它就是一个字符文件, 反之,它是一个字节文件 提问:常见的字节文件和字符文件有哪些?(枚举出一些) 字节文件:图片文件(.jpg、.png...)、视频文件(.avi、.mp4、.rmb...)、音频文件(.mp3...) 字符文件:.txt、.py、.java、.js、.html、.css、.php... 思考:.doc结尾的文件是字节还是字符文件? 是字节文件,因为.doc结尾的文件中既可以包含字符内容,也可以包含图片、颜色设置...操作 思考:计算机数据层面,一切皆字节,对不对? 对的;因为计算机底层唯一能够识别和运算的都是字节数据... 5.字符编码(字符集) ascii码表:U.S.A设计出来的,范围非常小;不包含很多国家的文字,英文字符占用内存1个字节 utf-8码表:现今比较通用的一张编码表,包含了世界上所有的文字内容,范围:0~65535之间, 1个汉字占用内存3个字节,1个英文字符占用内存1个字节 gbk码表:gbk属于gb2312的扩充版,兼容了gb2312中的所有字符,加入更多的一些汉字内容, 1个汉字占用内存2个字节,1个英文字符占用内存1个字节, 在我们中国环境下,大多数情况默认的都是gbk作为编码 6.编码和解码: 编码:让数据从看的懂到看不懂,就是编码 解码:让数据从看不懂到看得懂,就是解码 【注意】 编码和解码如果不一致会怎么样? 1).会出现乱码现象 2).会报错 不管是上述的1还是2都是不理想的结果,我们都需要避免 字符串的两个函数引入: encode(encoding,errors):对字符串数据进行编码操作,得到一个bytes类型的数据 decode(encoding,errors):对字符串数据进行解码操作,得到一个str类型的数据 演示eccode()和decode()函数的使用:

    01
    领券