一、前言 前几天在Python白银交流群【空翼】问了一个pandas处理Excel数据的问题，提问截图如下： 下图是他的原始数据部分截图： 二、实现过程 看上去确实是两列，但是X列里边又暗藏玄机，如果只是单纯的针对这一列全部是数值型的数据进行操作...他想实现的效果是，保留列中的空值、X值和正数，而他自己的数据还并不是那么的工整，部分数据入下图所示，可以看到130-134行的情况。...顺利地解决了粉丝的问题。其中有一行代码不太好理解，解析如下： 三、总结 大家好，我是皮皮。...这篇文章主要盘点了一个Pandas处理的问题，文中针对该问题，给出了具体的解析和代码实现，帮助粉丝顺利解决了问题。 最后感谢粉丝【空翼】提问，感谢【Jun.】...、【论草莓如何成为冻干莓】、【瑜亮老师】给出的思路和代码解析，感谢【Python进阶者】、【磐奚鸟】等人参与学习交流。
舍入时，数字 5 始终向上舍入。在 ROUND 循环或截断操作后删除尾随零。不返回前导零。如果 scale 为正数，则在小数点右侧的该位数处进行舍入。...请注意，ROUND 返回值始终是标准化的，删除尾随零。...ROUND 返回与 numeric-expr 相同的数据类型； TRUNCATE 返回 numeric-expr 作为数据类型 NUMERIC，除非 numeric-expr 是数据类型 DOUBLE，...当舍入到固定的小数位数很重要时使用 $JUSTIFY - 例如，在表示货币金额时。 $JUSTIFY 在舍入操作之后返回指定数量的尾随零。当要舍入的位数大于小数位数时，$JUSTIFY 补零。...$JUSTIFY 还右对齐数字，以便 DecimalSeparator 字符在一列数字中对齐。 $JUSTIFY 不会截断。$DOUBLE 数字$DOUBLE IEEE 浮点数使用二进制表示法编码。
它不对数字进行四舍五入，也不添加填充零。在截断操作之前，将删除前导零和尾随零。如果小数位数为正数，则在小数点右侧的位数处执行截断。如果小数位数等于或大于小数位数，则不会发生截断或零填充。...ROUND 返回与 numeric-expr 相同的数据类型； TRUNCATE 返回 numeric-expr 作为数据类型 NUMERIC，除非 numeric-expr 是数据类型 DOUBLE，...TRUNCATE 截断到指定数量的小数位数。如果截断导致尾随零，则保留这些尾随零。但是，如果 scale 大于 numeric-expr 规范形式的小数位数，则 TRUNCATE 不会填充零。...ROUND 舍入（或截断）到指定数量的小数位数，但其返回值始终是标准化的，删除尾随零。例如，ROUND(10.004,2) 返回 10，而不是 10.00。...当舍入到固定的小数位数很重要时使用 $JUSTIFY - 例如，在表示货币金额时。 $JUSTIFY 在舍入操作之后返回指定数量的尾随零。当要舍入的位数大于小数位数时，$JUSTIFY 补零。
LENGTH 返回 INTEGER 数据类型。 描述 LENGTH 返回一个整数，表示给定字符串表达式的字符数，而不是字节数。...字符串表达式可以是字符串（从中删除尾随空格）或数字（ IRIS 将其转换为规范形式）。 请注意，LENGTH 可用作 ODBC 标量函数（使用花括号语法）或 SQL 通用函数。...所有 SQL 函数始终使用字段的内部存储值。 LENGTH 返回数字的规范形式的长度。规范形式的数字不包括前导零和尾随零、前导符号（单个减号除外）和尾随小数分隔符。...LENGTH 返回数字字符串的字符串长度。数字字符串不会转换为规范形式。 LENGTH 不排除字符串中的前导空格。可以使用 LTRIM 函数从字符串中删除前导空格。...示例 在以下示例中， IRIS 首先将每个数字转换为规范形式（删除前导零和尾随零，解析前导符号，并删除尾随小数分隔符）。
表达式可以是列名、字符串文字、数字或另一个标量函数的结果，其中底层数据类型可以表示为任何字符类型(如CHAR或VARCHAR)。 描述 连接两个字符串以返回连接的字符串。...可以使用连接运算符(||)执行完全相同的操作。 可以连接数字或数字字符串的任意组合；连接结果是一个数字字符串。SQL在连接之前将数字转换为规范形式(指数被扩展，前导零和尾随零被删除)。...在连接之前，数字字符串不会转换为规范形式。 可以将前导空格或尾随空格连接到字符串。将空值连接到字符串会产生空值；这是行业范围内的SQL标准。 字符串函数还可用于将两个或多个表达式连接成单个字符串。...示例 以下示例连接Home_State和Home_City列以创建位置值。...||Home_City AS LocationOp FROM Sample.Person 以下示例显示尝试连接字符串和空值时发生的情况： SELECT {fn CONCAT(Home_State,NULL
由于许多潜在的 Pandas 用户对 Excel 电子表格有一定的了解，因此本页旨在提供一些案例，说明如何使用 Pandas 执行各Excel电子表格的各种操作。...Series 序列是表示 DataFrame 的一列的数据结构。使用序列类似于引用电子表格的列。 4. Index 每个 DataFrame 和 Series 都有一个索引，它们是数据行上的标签。...在 Pandas 中，如果未指定索引，则默认使用 RangeIndex（第一行 = 0，第二行 = 1，依此类推），类似于电子表格中的行标题/数字。...在 Pandas 中，您通常希望在使用日期进行计算时将日期保留为日期时间对象。输出部分日期（例如年份）是通过电子表格中的日期函数和 Pandas 中的日期时间属性完成的。...获取第一个字符： =MID(A2,1,1) 使用 Pandas，您可以使用 [] 表示法按位置位置从字符串中提取子字符串。请记住，Python 索引是从零开始的。
注释 当使用 LIKE 进行字符串比较时，模式字符串中的所有字符都有意义，包括起始或尾随空格。...如果查询中的比较要返回包含”abc”（abc 后没有空格）的所有行，则将返回以”abc”开始且具有零个或多个尾随空格的所有行。...由于 au_lname 列为 varchar 类型，所以没有尾随空格。因为尾随空格是有意义的，所以此过程失败。...当对 Unicode 数据（nchar 或 nvarchar 数据类型）使用 LIKE 时，尾随空格是有意义的。但是对于非 Unicode 数据，尾随空格没有意义。...使用 % 通配符 如果指定 LIKE ‘5%’，SQL Server 将搜索后面带有零个或多个任意字符的数字 5。
SQL函数 TRIM字符串函数，它返回删除了指定的前导和/或尾随字符的字符串。...描述TRIM 从提供的值的开头和/或结尾去除指定的字符。默认情况下，去除字母是区分大小写的。当遇到未在字符中指定的字符时，从任一端停止字符剥离。默认是从字符串表达式的两端去除空格。...无论要修剪的输入表达式的数据类型如何，TRIM 始终返回数据类型 VARCHAR。请注意，在将数字提供给 TRIM 或任何其他 SQL 函数之前，它们会自动从数字中去除前导零。...要保留前导零，必须将数字指定为字符串。...示例以下示例使用 end_keyword 和 characters 默认值；它从“abc”中删除前导和尾随空格。选择项将“^”连接到字符串的两端以显示空白。
在标记方法中，标记值可能是某些特定于数据的惯例，例如例如使用-9999或某些少见的位组合来表示缺失整数值，或者它可能是更全局的惯例，例如使用NaN（非数字）表示缺失浮点值，这是一个特殊值，它是 IEEE...NaN：缺失的数值数据 另一个缺失的数据表示，NaN（“非数字”的首字母缩写）是不同的；它是所有系统都识别的特殊浮点值，使用标准 IEEE 浮点表示： vals2 = np.array([1, np.nan...这可以通过how或thresh参数来指定，这些参数能够精确控制允许通过的空值数量。 默认值是how ='any'，这样任何包含空值的行或列（取决于axis关键字）都将被删除。...参数允许你为要保留的行/列指定最小数量的非空值： df.dropna(axis='rows', thresh=3) 0 1 2 3 1 2.0 3.0 5 NaN 这里删除了第一行和最后一行，因为它们只包含两个非空值...填充空值 有时比起删除 NA 值，你宁愿用有效值替换它们。这个值可能是单个数字，如零，或者可能是某种良好的替换或插值。
但是，如果 string-expression 的数据类型为 DOUBLE，则 TO_NUMBER 返回一个数据类型为 DOUBLE 的数字。...TO_NUMBER 转换采用数字字符串并通过解析加号和减号、扩展指数符号（“E”或“e”）以及删除前导零将其转换为规范数字。 TO_NUMBER 在遇到非数字字符（例如字母或数字组分隔符）时停止转换。...额外的小数位数四舍五入到小数点后两位；尾随零被解析为两位小数。当通过 xDBC 使用 TO_NUMBER 时，它还返回类型为 NUMERIC，SCALE 为 2。...在 LOGICAL 模式或 ODBC 模式下，返回值是规范数字；没有对小数位施加比例，并且省略了尾随零。相关 SQL 函数 TO_NUMBER 将字符串转换为数字数据类型 NUMERIC。...示例以下两个示例显示 TO_NUMBER 如何将字符串转换为数字，然后将其作为具有适当 SCALE 的数据类型 NUMERIC 返回。
在这篇文章中，我们将介绍 Pandas 的内存使用情况，以及如何通过为数据框(dataframe)中的列(column)选择适当的数据类型，将数据框的内存占用量减少近 90%。...对象列(object columns)主要用于存储字符串，包含混合数据类型。为了更好地了解怎样减少内存的使用量，让我们看看 Pandas 是如何将数据存储在内存中的。...数据框的内部表示 在底层，Pandas 按照数据类型将列分成不同的块（blocks）。这是 Pandas 如何存储数据框前十二列的预览。 你会注意到这些数据块不会保留对列名的引用。...下面的图标展示了数字值是如何存储在 NumPy 数据类型中，以及字符串如何使用 Python 内置的类型存储。 你可能已经注意到，我们的图表之前将对象类型描述成使用可变内存量。...总结和后续步骤 我们已经了解到 Pandas 是如何存储不同类型的数据的，然后我们使用这些知识将 Pandas 里的数据框的内存使用量降低了近 90%，而这一切只需要几个简单的技巧： 将数字列 downcast
每当我们查询、编辑或删除数据时，dataframe类会利用BlockManager类接口将我们的请求转换为函数和方法的调用。...由于不同类型的数据是分开存放的，我们将检查不同数据类型的内存使用情况，我们先看看各数据类型的平均内存使用量： 由于不同类型的数据是分开存放的，我们将检查不同数据类型的内存使用情况，我们先看看各数据类型的平均内存使用量...这些类型名称的数字部分表明了这种类型使用了多少比特来表示数据，比如刚才列出的子类型分别使用了2、4、8个字节。...Pandas用一个字典来构建这些整型数据到原数据的映射关系。当一列只包含有限种值时，这种设计是很不错的。...总结 我们学习了pandas如何存储不同的数据类型，并利用学到的知识将我们的pandas dataframe的内存用量降低了近90%，仅仅只用了一点简单的技巧： 将数值型列降级到更高效的类型 将字符串列转换为类别类型
SQL函数 UCASE将字符串中的所有小写字母转换为大写字母的大小写转换函数。...表达式可以是列名、字符串文字或另一个标量函数的结果，其中基础数据类型可以表示为任何字符类型（例如 CHAR 或 VARCHAR）。描述UCASE 将小写字母转换为大写以进行显示。...它对非字母字符没有影响；它保留不变的数字、标点符号和前导或尾随空格。请注意，UCASE 可用作 ODBC 标量函数（使用花括号语法）或 SQL 通用函数。UCASE 不强制将数字解释为字符串。...SQL 从数字中删除前导零和尾随零。指定为字符串的数字保留前导零和尾随零。UCASE 不影响排序规则。 %SQLUPPER 函数是 SQL 中为不区分大小写的排序规则转换数据值的首选方法。...也可以使用 UPPER() 方法调用从 ObjectScript 调用此函数：$SYSTEM.SQL.UPPER(expression)示例以下示例以大写字母返回每个人的姓名：SELECT Name,{
tochar-expression 的值必须是 %TimeStamp 数据类型（不是字符串数据类型），格式为 YYYY-MM-DD hh:mm:ss。时间戳的日期部分被忽略，时间部分被转换。...在所有这些情况下，格式的值必须是一个只包含时间格式代码的字符串：FormatCode MeaningHH一天中的小时（1 到 12）HH12一天中的小时（1 到 12）HH24小时（0 到 23）...如果省略格式参数，则输入数值被评估为整数：前导零和前导加号被删除，前导减号被保留，并且数值在第一个非数字字符处被截断，例如逗号或期间。没有提供前导空格或其他格式。...返回带有尾随减号“-”的负值。返回带有尾随加号“+”的正值。D99D99返回指定位置的小数分隔符。使用的 DecimalSeparator 是为语言环境定义的。默认为句点“.”。...G9G999返回指定位置的数字组分隔符。使用的 NumericGroupSeparator 是为区域设置定义的。默认为逗号“，”。小数分隔符的右侧不得出现数字组分隔符。
Pandas 默认使用其核心数字类型，整数，并且浮点数为 64 位，而不管所有数据放入内存所需的大小如何。 即使列完全由整数值 0 组成，数据类型仍将为int64。...对象数据类型是一种与其他数据类型不同的数据类型。 对象数据类型的列可以包含任何有效 Python 对象的值。 通常，当列属于对象数据类型时，它表示整个列都是字符串。...当像上一步那样将数字列彼此相加时，pandas 将缺失值默认为零。 但是，如果缺少特定行的所有值，则 Pandas 也会将总数也保留为丢失。...如果仔细观察，您会发现步骤 3 的输出缺少步骤 2 的所有对象列。其原因是对象列中缺少值，而 pandas 不知道如何处理字符串值与缺失值。 它会静默删除无法为其计算最小值的所有列。...看一下MENONLY列，在数据字典中似乎只包含 0/1 值。 导入时该列的实际数据类型意外地为float64。 这样做的原因是碰巧缺少值，用np.nan表示。 没有整数表示丢失的值。
请记住，Python 索引是从零开始的。...pandas 用特殊的浮点值NaN（不是一个数字）表示缺失数据。许多语义是相同的；例如，缺失数据会在数值操作中传播，并且默认情况下会被聚合忽略。...请记住，Python 的索引是从零开始的。...请记住，Python 索引是从零开始的。...pandas 用特殊的浮点值 NaN（不是一个数字）表示缺失数据。许多语义是相同的；例如，缺失数据在数值运算中传播，并且默认情况下在聚合中被忽略。
大纲 %MINUS(expression) %MINUS expression 参数 expression - 表达式，可以是列名、数字或字符串文字、算术表达式或另一个函数的结果，其中基础数据类型可以表示为任何字符类型...描述 %MINUS 将数字或数字字符串转换为规范形式，反转符号，然后以数字排序规则返回这些表达式值。 %MINUS 和 %PLUS 在功能上是相同的，只是 %MINUS 反转了符号。...它为解析为正数的任何数字添加减号前缀，并从解析为负数的任何数字中删除减号。零从不签名。 一个数字可以包含前导零和尾随零、多个前导加号和减号、一个小数点指示符 (.) 和 E 指数指示符。...在规范形式中，执行所有算术运算，扩展指数，将符号解析为单个前导减号或无符号，并去除前导零和尾随零。 可以使用或不使用封闭字符串分隔符来指定数字文字。...可以使用 %SYSTEM.Util 类的 Collation() 方法在 ObjectScript 中执行相同的排序规则转换： DHC-APP> WRITE $SYSTEM.Util.Collation
$LENGTH 返回 SMALLINT 数据类型。 描述 $LENGTH 返回指定字符串中的字符数或指定字符串中的子字符串数，具体取决于使用的参数。...（内部数据存储）值的长度，而不是显示值，无论 SelectMode 设置如何。...所有 SQL 函数始终使用字段的内部存储值。 $LENGTH 返回数字的规范形式的长度。规范形式的数字不包括前导零和尾随零、前导符号（单个减号除外）和尾随小数分隔符。...$LENGTH 返回数字字符串的字符串长度。数字字符串不会转换为规范形式。 $LENGTH 不排除字符串中的前导空格。可以使用 LTRIM 函数从字符串中删除前导空格。...在执行以下操作时，$LENGTH 与其他长度函数（LENGTH、CHARACTER_LENGTH、CHAR_LENGTH 和 DATALENGTH）不同： $LENGTH 不排除尾随空格和终止符。
似乎在使用 Pandas 时坚持这个“无循环”规则是加速计算的最佳方法。 函数式编程用递归代替循环。虽然递归也会出现各种问题（这个我们这里不考虑），但是对于科学计算来说使用矢量化是最好的选择！...但是每当发现需要使用一些循环函数（例如 apply、applymap 或 itertuples）时，花点时间看看想要做的事情是否可以矢量化是一个非常好的习惯。 数据类型，dtypes！...我们可以根据内存使用情况指定数据类型。 pandas中最糟糕也是最耗内存的数据类型是 object，这也恰好限制了 Pandas 的一些功能。剩下的我们还有浮点数和整数。...以下这张表是pandas的所有类型： Pandas命名方式中，数据类型名称之后的数字表示此数据类型中的每个数字将占用多少位内存。因此，我们的想法是将数据集中的每一列都转换为尽可能小的子类型。...总结 今天，我们学习了新手在使用Pandas时最常犯的六个错误。 我们这里提到的错误大部分和大数据集有关，只有当使用GB大小的数据集时可能才会出现。
大纲UPPER(expression)UPPER expression参数 expression - 字符串表达式，可以是列名、字符串文字或另一个函数的结果，其中基础数据类型可以表示为任何字符类型（例如...这是 LOWER 函数的反函数。 UPPER 保留不变的数字、标点符号和前导或尾随空格。UPPER 不强制将数字解释为字符串。 SQL 从数字中删除前导零和尾随零。...指定为字符串的数字保留前导零和尾随零。...也可以使用 UPPER() 方法调用从 ObjectScript 调用此函数：$SYSTEM.SQL.Functions.UPPER(expression)UPPER 是字母大小写转换的标准函数，而不是排序规则...对于大写排序规则，使用 %SQLUPPER，它提供了数字、NULL 值和空字符串的高级排序规则。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
