上一篇分享了一个从时间处理上的加速方法「使用 Datetime 提速 50 倍运行速度！」，本篇分享一个更常用的加速骚操作。
当大家谈到数据分析时，提及最多的语言就是Python和SQL。Python之所以适合数据分析，是因为它有很多第三方强大的库来协助，pandas就是其中之一。pandas的文档中是这样描述的：
作者：xiaoyu 知乎：https://zhuanlan.zhihu.com/pypcfx 介绍：一个半路转行的数据挖掘工程师
所有编程语言都离不开循环。因此，默认情况下，只要有重复操作，我们就会开始执行循环。但是当我们处理大量迭代（数百万/十亿行）时，使用循环是一种犯罪。您可能会被困几个小时，后来才意识到它行不通。这就是在 python 中实现矢量化变得非常关键的地方。
Python之NumPy实践之数组和矢量计算 1. NumPy（Numerical Python）是高性能科学技术和数据分析的基础包。 2. NumPy的ndarray:一种对位数组对象。NumPy最
我们在这里讨论6个新手容易犯的错误，这些错误与你所使用工具的API或语法无关，而是与你的知识和经验水平直接相关。在实际中如果出现了这些问题可能不会有任何的错误提示，但是在应用中却会给我们带来很大的麻烦。
在Excel中，我们经常会遇到要将文本拆分。Excel中的文本拆分为列，可以使用公式、“分列”功能或Power Query来实现。
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
假如在此刻，您已经将数据全部加载到panda的数据框架中，准备好进行一些探索性分析，但首先，您需要创建一些附加功能。自然地，您将转向apply函数。Apply很好，因为它使在数据的所有行上使用函数变得很容易，你设置好一切，运行你的代码，然后…
Python之Pandas中Series、DataFrame实践 1. pandas的数据结构Series 1.1 Series是一种类似于一维数组的对象，它由一组数据（各种NumPy数据类型）以及一
由于LLM的发展， 很多的数据集都是以DF的形式发布的，所以通过Pandas操作字符串的要求变得越来越高了，所以本文将对字符串操作方法进行基准测试，看看它们是如何影响pandas的性能的。因为一旦Pandas在处理数据时超过一定限制，它们的行为就会很奇怪。
Pandas是一种流行的用于数据操作的Python库，它提供了一种称为“向量化”的强大技术可以有效地将操作应用于整个列或数据系列，从而消除了显式循环的需要。在本文中，我们将探讨什么是向量化，以及它如何简化数据分析任务。
pandas是本系列后续内容所需要的第三方库，它是基于之前介绍的NumPy构建的，使得Python可以更加简单、方便地完成一系列数据分析工作。 📷 首先，使用下面的pandas导入约定： pd是pan
由于NumPy提供了一个简单易用的C API，因此很容易将数据传递给由低级语言编写的外部库，外部库也能以NumPy数组的形式将数据返回给Python。这个功能使Python成为一种包装C/C++/Fortran历史代码库的选择，并使被包装库拥有一个动态的、易用的接口。
NumPy（Numerical Python的简称）是Python数值计算最重要的基础包。大多数提供科学计算的包都是用NumPy的数组作为构建基础。 NumPy的部分功能如下： ndarray，一个具有矢量算术运算和复杂广播能力的快速且节省空间的多维数组。 用于对整组数据进行快速运算的标准数学函数（无需编写循环）。 用于读写磁盘数据的工具以及用于操作内存映射文件的工具。 线性代数、随机数生成以及傅里叶变换功能。 用于集成由C、C++、Fortran等语言编写的代码的A C API。 由于NumPy提供了一个
Python之数据规整化：清理、转换、合并、重塑 1. 合并数据集 pandas.merge可根据一个或者多个不同DataFrame中的行连接起来。 pandas.concat可以沿着一条轴将多个对象
Apache Hive是Hadoop之上最流行的数据仓库引擎。提升Hive性能的功能可以显著提高集群资源的整体利用率。Hive使用一连串的运算符来执行查询。这些运算符包括MapTask，ReduceTask或SparkTask，它们在查询执行计划中进行调度。以前这些运算符被设计为每次处理一行数据。一次处理一行导致运算符效率不高，因为需要许多虚函数调用来处理扫描的每一行。另外，如果运算符一次只处理一行，不能利用CPU的SIMD指令集（例如SSE或AVX）进行加速。本文主要介绍如何在Hive中利用基于SIMD的优化，使Apache Parquet表的查询运行效率提升26％以上。
numpy是进行科学运算不可或缺的工具,很多其他科学计算的库也是基于numpy的，比如pandas
Pandas是一个受众广泛的python数据分析库。它提供了许多函数和方法来加快数据分析过程。pandas之所以如此普遍，是因为它的功能强大、灵活简单。本文将介绍20个常用的 Pandas 函数以及具体的示例代码，助力你的数据分析变得更加高效。
最近遇到一个性能问题，与Auto-Vectorization in LLVM有关，翻译一下官方介绍 http://llvm.org/docs/Vectorizers.html
如果只是从事简单的数据分析，其实numpy的用处并不是很大。简单了解一下numpy，学好pandas已经够用，尤其是对于结构化或表格化数据。但是精通面向数组的编程和思维方式是成为python科学计算牛人的关键一步。
np.array(collection)，collection为序列型对象(list)，嵌套序列 (list of list)
向量化技巧对于数据科学家来说是相当熟知的，并且常用于编程中，以加速整体数据转换，其中简单的数学变化通过可迭代对象（例如列表）执行。未受到重视的是，把有一定规模的代码模块，如条件循环，进行矢量化，也能带来一些好处。
最近是百业萧条，本地前十的新能源的电池大厂也停工了，2023年还有一个月结束，真是令人记忆深刻。
企业正在竞相采用大型语言模型（也可以被称为LLM）。让我们深入了解如何通过RAG（检索增强生成技术） 构建特定行业的大型语言模型。
坚持看完每一篇文章，践行自己最初想学好数据分析的目标，我们不像在学校那样，我们现在要提高效率，必须给自己定位目标以驱动型学习，这样才能学好一件事，李笑来说过，给自己正在做的事情赋予伟大的意义，这就是理想。
Apache Hive 在行级别支持 ACID（原子性、一致性、隔离性和持久性）v2 事务，无需任何配置。了解此支持需要什么可帮助您确定您创建的表类型。
pandas、numpy是Python数据科学中非常常用的库，numpy是Python的数值计算扩展，专门用来处理矩阵，它的运算效率比列表更高效。pandas是基于numpy的数据处理工具，能更方便的操作大型表格类型的数据集。但是，随着数据量的剧增，有时numpy和pandas的速度就成瓶颈。
OpenAI Gym是一款用于研发和比较强化学习算法的环境工具包，它支持训练智能体（agent）做任何事——从行走到玩Pong或围棋之类的游戏都在范围中。 它与其他的数值计算库兼容，如pytorch、tensorflow 或者theano 库等。现在主要支持的是python 语言
*免责声明：本练习未考虑诸如交易和佣金之类的费用。作者对使用本文承担的风险或利益概不负责。
机器之心专栏 作者：网易互娱 AI Lab 2022 年是人工智能生成内容（AI Generated Content，AIGC）爆发的一年，其中一个热门方向就是通过文字描述（text prompt）来对图片进行编辑。已有方法通常需要依赖在大规模数据集上训练的生成模型，不仅数据采集和训练成本高昂，且会导致模型尺寸较大。这些因素给技术落地于实际开发和应用带来了较高的门槛，限制了 AIGC 的发展和创造力发挥。 针对以上痛点，网易互娱 AI Lab 与上海交通大学合作进行了研究，创新性地提出一套基于可微矢量渲染器
来源：机器之心 本文约4500字，建议阅读9分钟 本文为你介绍一套基于可微矢量渲染器的解决方案。 2022 年是人工智能生成内容（AI Generated Content，AIGC）爆发的一年，其中一个热门方向就是通过文字描述（text prompt）来对图片进行编辑。已有方法通常需要依赖在大规模数据集上训练的生成模型，不仅数据采集和训练成本高昂，且会导致模型尺寸较大。这些因素给技术落地于实际开发和应用带来了较高的门槛，限制了 AIGC 的发展和创造力发挥。 针对以上痛点，网易互娱 AI Lab 与上海交通
Python运行的慢是历来被诟病的，一方面和语言有关，另一方面可能就是你代码的问题。语言方面的问题我们解决不了，所以只能在编程技巧上来提高程序的运行效率。下面就给大家分享几个提高运行效率的编程方法。
1、什么是 In-Memory 深度矢量化（Deep Vectorization）
index()方法和find()方法的区别是：如果不包含子字符串，index()会抛出一个异常，而find()会返回-1。
是否发现pandas库在处理大量数据时速度较慢，并且希望程序运行得更快？当然，有一些使用pandas的最佳实践（如矢量化等）。本文讨论的内容将代码运行得更快，甚至超过采用最佳实践。
python字符串应该是python里面最重要的数据类型了，因此学会怎么处理各种各样的字符串，显得尤为重要。
向量化引擎是OLAP数据库提升性能的有效技术。翻到PostgreSQL邮件列表有对向量化引擎的讨论。这里继续进行整理，以作分析。
影像数据指的是栅格数据，影响配准是指使用地图坐标为影像数据指定特定的空间位置。
就循环向量化而言，循环内的条件语句通常会阻止向量化的发生。在某些简单的情况下，编译器可以执行中频转换以允许结果循环向量化。中频转换通常计算采用和未采用路径的结果，并使用条件选择指令而不是分支，但是这种结果并不总是可能的。其他时候，这是可能的，但是与生成非向量代码相比，这被认为是次优的。
用Python做数据分析光是掌握numpy和matplotlib可不够，Pandas是必须要掌握的一个重点，numpy虽然能够帮我们处理处理数值型数据，但是这还不够，很多时候，我们的数据除了数值之外，还有字符串，还有时间序列等，比如：我们通过爬虫获取到了存储在数据库中的数据。
大约七八年前，我曾经用 pyOpenGL 画过地球磁层顶的三维模型，这段代码至今仍然还运行在某科研机构里。在那之前，我一直觉得自己是一个合（you）格（xiu）的 python 程序员，似乎无所不能。但磁层顶模型的显示效果令我沮丧——尽管这个模型只有十几万个顶点，拖拽、缩放却非常卡顿。最终，我把顶点数量删减到两万左右，以兼顾模型质量和响应速度，才勉强交付了这个任务。从此我开始怀疑 python 的性能，甚至一度怀疑 python 是否还是我的首选工具。
NumPy（Numerical Python的简称）是Python数值计算最重要的基础包。大多数提供科学计算的包都是用NumPy的数组作为构建基础。
资源矢量化 “清晰”和“体积”的矛盾与麻烦 面对android的各种dpi某事，想要所有设备上的图片都能有最清晰的效果，就意味着每种dpi模式都必须提供一份对应尺寸的资源，除非你不在乎安装包的体积有多大，所以这显然是不可能去做的。 在过去的几年里andorid从mdpi发展到xxxhdpi，每当微信想让相同的图片在更清晰的屏幕上显示我们想要的效果时，我们总要重新提供一份体积更大的高清png并且删掉可能不太多使用的小分辨率图片。 只保留一种分辨率图片的方法确实比所有dpi都来一份体积要小一点，然后只是用一份资
介绍 您是否曾经想过如何使用Sentence Transformers创建嵌入向量，并在诸如语义文本相似这样的下游任务中使用它们在本教程中，您将学习如何使用Sentence Transformers和Faiss构建一个基于向量的搜索引擎。代码地址会在本文的最后提供 为什么要构建基于向量的搜索引擎？ 基于关键字的搜索引擎很容易使用，在大多数情况下工作得很好。你要求机器学习论文，他们会返回一堆包含精确匹配或接近变化的查询结果，就像机器学习一样。其中一些甚至可能返回包含查询的同义词或出现在类似上下文中的单词的结
本文介绍了Numpy、Pandas、Matplotlib和Scikit-learn四个常用的Python库在数据探索、数据处理、数据可视化、机器学习方面的应用。这些库为数据分析提供了强大的支持，使数据处理变得更加简单和高效。
这两种方法中，并没有哪一种严格地比另一种好。运行时代码生成可以更好地将多个操作融合在一起，从而充分利用 CPU 执行单元和流水线。矢量化查询执行不是特别实用，因为它涉及必须写到缓存并读回的临时向量。如果 L2 缓存容纳不下临时数据，那么这将成为一个问题，如果我们要尽量使块的大小足够小，从而 CPU 缓存能够容纳下临时数据。在这个假设下，与其他计算相比，读写临时数据几乎是没有任何开销的（相比后者优点：拆分流水线使得中间数据缓存、获取同时运行的类似查询的中间数据以及相似查询的流水线合并等功能很容易实现，并且矢量化查询执行更容易利用 CPU 的 SIMD 功能）。论文表明，将两种方法结合起来是更好的选择，clickhouse 使用了矢量化查询执行，同时初步提供了有限的运行时动态代码生成。
简单来说，Numpy 是 Python 的一个科学计算包，包含了多维数组以及多维数组的操作。
领取专属 10元无门槛券
手把手带您无忧上云
