你也可以手动计算平均数、标准差及其他描述性的统计数据。...更多 描述性的统计数据也可用SciPy和NumPy计算得到。当然，比起pandas来不那么直观（data_describe_alternative.py文件）。 首先加载两个模块。...最终可以计算出要求的数据： .genfromtxt(...)方法创建的数据是一系列元组。.describe(...)方法只接受列表形式的数据，所以得先（使用列表表达式）将每个元组转换成列表。...首先，我们指定要从原数据集中抽样的记录数目： strata_cnt = 200 要保持不同卧室数目的取值比例与原数据集一致，我们首先计算每个桶中该放的记录数： ttl_cnt = sales['beds...我们先将原始的数据集分成两块，一块是因变量y，一块是自变量x： # 选择自变量和因变量 x = data[['zip', 'beds', 'sq__ft']] y = data['price'] 然后就可以拆了
什么是NumPy？ NumPy是Python中科学计算的基础软件包。...NumPy数组 和 标准Python Array（数组） 之间有几个重要的区别： NumPy数组在创建时具有固定的大小，与Python的原生数组对象（可以动态增长）不同。...关于数组大小和速度的要点在科学计算中尤为重要。举一个简单的例子，考虑将1维数组中的每个元素与相同长度的另一个序列中的相应元素相乘的情况。...所有的ndarray都是同质的：每个条目占用相同大小的内存块，并且所有块都以完全相同的方式进行解释。如何解释数组中的每个项是由一个单独的数据类型对象指定的，其中一个对象与每个数组相关联。...第一个轴（维度）的长度为2，第二个轴（维度）的长度为3。 NumPy的数组类被称为ndarray。别名为 array。
依据是用类似单词的文章意思也差不多。 CountVectorizer 类会将文档全部转换成小写。然后把句子分割成词块（token）或有意义的字母序列，并统计它们出现的次数。...词块大多是单词，但是他们也可能是一些短语，字母长度小于2的词块(如 I, a)被略去。 可以用stop_words选项排除一些常用但没有太多意义的助词(如is,are,in)。 ?...2，Tf–idf权重向量 单词频率对文档意思有重要作用，但是在对比长度不同的文档时，长度较长的文档的单词频率将明显倾向于更大。因此将单词频率正则化为权重是个好主意。...Hash函数可以将一个任意长度的字符串映射到一个固定长度的散列数字中去。Hash函数是一种典型的多对一映射。 正向快速：给定明文和 hash 算法，在有限时间和有限资源内能计算出 hash 值。...即对于任意两个不同的数据块，其hash值相同的可能性极小；对于一个给定的数据块，找到和它hash值相同的数据块极为困难。 目前流行的Hash函数包括MD4,MD5,SHA等。 ?
Python中的Merkle树 Merkle树是一种哈希树结构，常被用于确保数据完整性和验证大规模数据集中的数据一致性。...在本文中，我们将深入讲解Merkle树的原理、构建方法以及在Python中的实现，并提供相应的代码示例。...Merkle树具有以下特点： 叶子节点是数据块的哈希值： 将数据分成固定大小的块，对每个块进行哈希运算，得到哈希值作为叶子节点。...这种结构使得我们能够在不下载整个数据集的情况下验证特定数据块的完整性。...Merkle树的构建 Merkle树的构建过程基于以下步骤： 将数据分块并计算叶子节点哈希值： 将数据分成固定大小的块，对每个块进行哈希运算，得到叶子节点的哈希值。
因为FlashAttention 是一种重新排序注意力计算的算法，它无需任何近似即可加速注意力计算并减少内存占用。...方法如下: 基本上，为了计算属于前2个块(大小为B)的分数的softmax，必须要跟踪每个块的2个统计数据:m(x)(最大分数)和l(x) (exp分数总和)。...M(保存逐行最大分数)初始化为-inf，因为我们将对其进行Max运算符，因此无论第一个块的Max是什么-它肯定大于-inf 。 第3步： 步骤1中的块大小将Q, K和V分成块。...只有在我们遍历上图中的所有红色块之后，我们才能最终得到确切的结果。 第13步 将最新的累加到统计数据(l_i & m_i)写回HBM。注意它们的维数是B_r。...反向传播 对于GPU内存的占用，另外一个大头就是反向传播，通过存储输出O (Nxd)和softmax归一化统计数据(N)，我们可以直接从SRAM中的Q, K和V (Nxd)块中反向计算注意力矩阵S (NxN
，其中最后固定长度的字节才真正存储这个整数。...下图展示了动态类型的列表和固定类型的数组（NumPy 实现的）的区别： ? Array Memory Layout 从底层实现上看，数组仅仅包含一个指针指向一块连续的内存空间。...而 Python 列表，含有一个指针指向一块连续的指针内存空间，里面的每个指针再指向内存中每个独立的 Python 对象，如我们前面看到的整数。...NumPy 使用的固定类型的数组缺少这种灵活性，但是对于存储和操作数据会高效许多。 1.3.Python 的固定类型数组 Python 提供了许多不同的选择能让你高效的存储数据，使用固定类型数据。...: 将多个数组组合成一个，或者将一个数组切分成多个 2.1.NumPy 数组属性 首先我们来讨论一些数组有用的属性。
3表示图像中的通道数，该数量对于彩色图像（RGB）是固定的。...确定最小输入尺寸的尝试和错误方法如下： 确定要堆叠的卷积块数 选择任何输入形状以说出(32, 32, 3)并堆叠数量越来越多的通道的卷积块 尝试构建模型并打印model.summary()以查看每个图层的输出形状...具体来说，希望(height, width, num_of_filters)最后一个卷积块的输出中的高度和宽度为常数或1。滤波器的数量始终是固定的，因为这些值是在每个卷积块中定义的。...在传统的图像分类器中，将图像调整为给定尺寸，通过转换为numpy数组或张量将其打包成批，然后将这批数据通过模型进行正向传播。在整个批次中评估指标（损失，准确性等）。根据这些指标计算要反向传播的梯度。...累积python列表（批处理）中每个图像的度量。 使用累积的指标计算损耗和梯度。将渐变更新应用到模型。 重置指标的值并创建新的图像列表（批次）。 尝试了上述步骤，但建议不要采用上述策略。
需要的知识：线性代数基础（矩阵乘法，逆矩阵） 该加密算法将含有m个字母的明文块加密成含有m个字母的密文块。...例如，如果m=3，那么3个明文字母的数值（假设为p1,p2和p3）将通过如下的方程组转换成密文数值c1，c2和c3： ? 该加密法的秘钥是kij的值。 加上秘钥之后，方程组变成了这样： ?...可以从m=3的示例中归纳出用数学方法表示Hill加密法的一般形式。秘钥写成一个的可逆矩阵形式： ? 将明文分成块，每个块含m个字母，用m*1的向量表示。...例如，第i块含有字符p1,p2,......pm，写成如下形式： ? 那么密文就由如下计算结果确定： ?...补充：求逆矩阵方法 方法一：使用python的numpy模块（需自行安装） 示例： import numpy as np a = np.matrix([[1,2],[4,7]]) print a.I print
当您想要识别或比较文件或数据库时，哈希非常方便。与其比较原始形式的数据，计算机比较哈希值要容易得多。无论是存储密码，计算机图形还是SSL证书，哈希都能做到这一切。...让我们把笑话放在一边，专注于问题的关键。哈希函数是一种数学函数，它将输入值转换为压缩数值 - 哈希值或哈希值。基本上，它是一个处理单元，它接收任意长度的数据并为您提供固定长度的输出 - 哈希值。 ?...正如我们所讨论的，散列函数位于散列算法的核心。但是，要获得预设长度的哈希值，首先需要将输入数据划分为固定大小的块。这是因为散列函数接收固定长度的数据。这些块称为“数据块”。这在下图中进行了说明。 ?...使用填充技术，整个消息被分成固定大小的数据块。散列函数重复与数据块的数量一样多的次数。这就是它的完成方式： ? 如上所示，一次处理一个块。第一数据块的输出作为输入与第二数据块一起馈送。...因此，第二个输出与第三个块一起输入，依此类推。因此，我们将最终输出作为所有块的组合值。如果在消息中的任何位置更改一位，则整个哈希值会更改。这被称为“雪崩效应”。
条形图（bar chart），也称为柱状图，是一种以长方形的长度为变量的统计图表，长方形的长度与它所对应的变量数值呈一定比例。 1....并列条形图 若要将男生与女生的调查情况画出两个条形图一块显示，则可以使用 bar 或 barh 函数两次，并调整 bar 或 barh 函数的条形图位置坐标以及相应刻度，使得两组条形图能够并排显示。...补充知识：Python 条形图与直方图有非常大的区别 区别： 首先，条形图是用条形的长度表示各类别频数的多少，其宽度（表示类别）则是固定的； 直方图是用面积表示各组频数的多少，矩形的高度表示每一组的频数或频率...最后，条形图主要用于展示分类数据，而直方图则主要用于展示数据型数据，我们初中学的就是条形统计图，很显然有没有当初那种感觉？（身高-年龄 条形统计图）在坐标上画出每个年龄对应的频数。...对比两个图就能知道，条形图将类别对的死死的，但是直方图就用间隔来划分每一柱多少，虽然大体相差不大，但是对于数据研究那影响可大也可小。总之了解了区别才能避免不必要的犯错。
这意味着它为我们提供了有关以下信息： 数据类型(整数，浮点数，Python对象等) 数据大小(字节数) 数据的字节顺序(小端或大端) ndarray的值存储在缓冲区中，可以将其视为内存字节的连续块。...，浮点数，指定字节长度的复数和固定长度字符串) int8，…，uint8，…，float16，float32，float64，complex64，complex128 (这次具有位大小) 注意 ： dtype...0级缩进的代码 […]… Python中的函数 函数是一组语句，这些语句接受输入，进行一些特定的计算并产生输出。...这个想法是将一些通常重复执行的任务放在一起并创 […]… Python中的反射 反射是指代码能够检查可能作为参数传递给函数的对象属性的能力。...双端队列优于列表中的情 […]… Numpy 数据类型对象 每个ndarray都有一个关联的数据类型(dtype)对象。
分页存储管理 1.基本思想 用户程序的地址空间被划分成若干固定大小的区域，称为“页”，相应地，内存空间分成若干个物理块，页和块的大小相等。...每个段都从0开始编址，并采用一段连续的地址空间。 段的长度由相应的逻辑信息组的长度决定，因而各段长度不等。整个作业的地址空间是二维的。...程序执行时，从PCB中取出段表始址和段表长度（3），装入段表寄存器。 (2). 由分段地址变换机构将逻辑地址自动分成段号和段内地址。...,满足用户的需要. (2)页的大小固定,由系统确定,将逻辑地址划分为页号和页内地址是由机器硬件实现的.而段的长度却不固定,决定于用户所编写的程序,通常由编译程序在对源程序进行编译时根据信息的性质来划分....与页式管理页长度相同不一样，段的长度是不同的，每个段定义一组逻辑上完整的程序或数据。例如，在DOS操作系统中，一个程序内部被分为了正文段、数据段、堆栈段等。每个段是一个首地址为O并连续的一维线性空间
在所有变量都是同一类型的特殊情况下，许多信息都是多余的：将数据存储在固定类型的数组中会更加有效。下图说明了动态类型列表和固定类型（NumPy样式）数组之间的区别： ?...从上面实现可以看到，数组本质上包含一个指向一个连续数据块的指针。另一方面，Python列表包含一个指向一组指针的指针，每个指针都指向一个完整的Python对象，例如我们之前看到的Python整数。...同样，python列表的优点是灵活性：由于每个列表元素都是包含数据和类型信息的完整结构，因此可以用任何所需类型的数据填充列表。...固定类型的NumPy样式的数组缺乏这种灵活性，但是在存储和处理数据方面效率更高。 Python提供了几种不同的选项来将数据存储在高效的固定类型数据缓冲区中。...下面，我们将演示创建NumPy数组的几种方法。
NumPy 数组切片NumPy 数组切片用于从数组中提取子集。它类似于 Python 中的列表切片，但支持多维数组。一维数组切片要从一维数组中提取子集，可以使用方括号 [] 并指定切片。...NumPy 中的数据类型NumPy 具有比 Python 更丰富的基本数据类型，并使用首字母大写字符来表示它们：i: 整数（int）b: 布尔值（bool）u: 无符号整数（unsigned int）f...(new_arr.dtype)输出：[1 2 3 4 5]int32NumPy 数据类型简表数据类型字符描述整数i有符号整数布尔值bTrue 或 False无符号整数u无符号整数浮点数f固定长度浮点数复数浮点数...c复数浮点数时间差m时间间隔日期时间M日期和时间对象OPython 对象字符串S固定长度字符串Unicode 字符串U可变长度 Unicode 字符串可变长度字节V用于其他类型的固定内存块练习创建以下...NumPy 数组，并打印它们的元素和数据类型：一个包含 10 个随机整数的数组。
1) 基本分页式存储管理方式 把主存空间划分为大小相等且固定的块，块相对较小，作为主存的基本单位。每个进程也以块为单位进行划分，进程在执行时，以块为单位逐个申请主存中地块空间。...例如，用户进程由主程序，两个子程序，栈和一段数据组成，于是可以把这个用户进程划分为5个段，每段从0开始编制，并分配一段连续的地址空间（段内要求连续，段间不要求连续）。...在段页式系统中，作业的地址空间首先被分成若干逻辑段，每段都有自己的段号，然后再将每一段划分成若干大小固定的页。...对内存空间的管理仍然和分页存储管理一样，将其分成若干和页面大小相同的存储块，对内存的分配以存储块为单位。 在段页式系统中，作业的逻辑地址分为3个部分：段号，页号和页面偏移量。...1) 根据页面大小可计算出页内地址的位数 2) 页内地址位数结合逻辑地址计算出页内地址（即，块内地址）和页号 3) 页号结合页表，即可得出块号 4) 块号&块内地址即可得出物理地址 2.5地址变换原理及步骤
译者：飞龙 协议：CC BY-NC-SA 4.0 数据驱动的科学和有效计算需要了解数据的存储和操作方式。本节概述了如何在 Python 语言本身中处理数据数组，以及对比 NumPy 如何改进它。...在所有变量属于同一类型的特殊情况下，大部分信息都是冗余的：将数据存储在固定类型数组中会更加高效。...动态类型列表和固定类型（NumPy 样式）数组之间的区别如下图所示： 在实现级别，数组基本上包含指向一个连续数据块的单个指针。...另一方面，Python 列表包含一个指向指针块的指针，每个指针指向一个完整的 Python 对象，就像我们之前看到的 Python 整数一样。...同样，列表的优点是灵活性：因为每个列表元素是包含数据和类型信息的完整结构，所以列表可以填充为任何所需类型的数据。固定类型的 NumPy 风格数组缺乏这种灵活性，但是对于存储和操作数据更有效。
- Model Shard (模型分片)：这表明模型被分成了多个分片，每个工作节点只处理其中的一个分片。...2.1.2 实现细节 （1）PagedAttention将每个序列的KV缓存分割成多个KV块。 （2）每个块包含固定数量tokens的键和值向量，这个固定的数量被称为KV块大小（）。...（3）公式部分给出了如何将传统的注意力计算转换为基于块的计算： 这个公式描述了如何计算给定query和一组键值块之间的注意力输出。...这种策略考虑到了整个序列的数据块是一起被访问的。 （4）序列组 sequence group vLLM还有一个特点是它可以将多个序列组合为一个组，并一起进行调度。...该策略使用单程序多数据（SPMD）执行调度，将线性层分区来执行块状矩阵乘法，并通过all-reduce操作来不断同步各GPU间的中间结果。
先介绍一下本章将要提到的术语： 术语 解释 页框（Frame） 内存中一个固定长度的块 页（Page） 一个固定长度的数据块，储存在二级存储器中（如磁盘）。...数据页可以临时复制入内存中的页框中 段（Segment） 一个变长的数据块，储存在二级存储器中。...动态分区 为了克服固定分区的缺点，提出了动态分区（如下图）： 对于动态分区，分区长度和数量是可变的。 进程装入内存时，系统会给它分配一块与其所需容量完全相等的内存空间。...将内存划分为固定大小的小块（块远远小于分区），将每个进程也划分为相同大小的块： 进程中的块被称为页（page） 内存中的块被称为帧/页帧/页框（frame） 操作系统会为每一个进程维护一个页表...类似于分页，在简单的分段方案中，每个进程都有一个段表 系统也会维护一个内存中的空闲块列表 每个段表项必须给出相应段在内存中的起始地址，还必须指明段的长度，以确保不会使用无效地址 当进程进入运行状态时，
块密码算法 所谓块密码算法，就是在加密或这解密数据时，将数据分成固定长度的数据块（block），每次只处理一个数据块，依次对一个个的数据块加密或解密，最后完成对整个数据的加解密。...ECB模式加密 这个过程很容易理解： 将明文拆分成多个数据块，每个数据块的长度等于分组长度，如果最后一个数据块长度小于分组长度，需要进行填充保证最后一个数据块长度等于分组长度。...依次对每个数据块进行迭代得到每个数据块的密文分组，将所有密文分组组合在一起就得到最终的密文，密文长度等同于明文长度。 解密过程类似： ? ECB模式解密 为什么这种分组模式存在安全问题呢？...CBC模式加密 将密文拆分成多个数据块，每个数据块的长度等于分组长度，如果最后一个数据块长度小于分组长度，需要进行填充保证最后一个数据块长度等于分组长度。...GCM模式加密 GCM 模式使用一个计数器，该计数器针对每个块增加，并在每个已处理的块之后计算消息身份验证标签（MAC代码）。最终的 MAC 值是从最后一个块计算得出的。
range与arange的区别：arange函数返回的是numpy里定义的数组，数组每一个元素的数据类型一致。range在Python2与Python3里有着不同的功能。...Python2里的range返回的是列表，而Python3里的range返回的是可迭代的对象，通常使用for循环将其输出。 3. 效果演示 ?...，固定长度的数组。...b：y轴上的离散数值，固定长度的数组。 c：气泡的颜色，可以是固定颜色也可以是一个数组。 s：气泡的大小，用于记录第三维度的函数关系。 cmap：颜色映射表，可以简单理解成配色方案。...y：数据点的垂直位置 fmt：数据点的标记样式和数据点标记的连接线样式 xerr：x轴方向数据点的误差计算方法 yerr：y轴方向数据误差点的计算方法 ecolor：误差棒的颜色 mfc：数据点的标记颜色
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
