*从本篇开始所有文章的数据和代码都已上传至我的github仓库：https://github.com/CNFeffery/DataScienceStudyNotes
pandas提供了很多方便简洁的方法，用于对单列、多列数据进行批量运算或分组聚合运算，熟悉这些方法后可极大地提升数据分析的效率，也会使得你的代码更加地优雅简洁。
上节我们对选择现有的列和使用mutate添加新列做了介绍。现在对数据框使用summarize()进行分组摘要进行介绍。函数功能：summarize()可以将数据框折叠成一行：
常常和分区一并提及的概念是复制，分区通常与复制结合使⽤，使得每个分区的副本存储在多个节点上。这意味着，即使每条记录属于⼀个分区，它仍然可以存储在多个不同的节点上以获得容错能⼒。分区在许多技术或框架中都有体现，例如MQ中topic下的分区消息实现，如kafka中的partion、rocketmq中的queue等；例如SQL/NoSQL中分区数据储存实现，如ElascticSearch中的Shards分片、MySQL中的分表等。
在 Citus 集群上运行高效查询要求数据在机器之间正确分布。这因应用程序类型及其查询模式而异。
========== Spark 的监控方式 ========== 1、Spark Web UI Spark 内置应用运行监控工具（提供了应用运行层面的主要信息--重要） 2、Ganglia 分析集群的使用状况和资源瓶颈（提供了集群的使用状况--资源瓶颈--重要） 3、Nmon 主机 CPU、网络、磁盘、内存（提供了单机信息） 4、Jmeter 系统实时性能监控工具（提供了单机的实时信息） 5、Jprofile Java 程序性能监控工具（提供了对应用程序开发和JVM的监控--次重要）
当部署多个 FE 节点时，用户可以在多个 FE 之上部署负载均衡层来实现 Doris 的高可用。官方文档描述: 负载均衡 。
机器学习的模型训练越来越自动化，但特征工程还是一个漫长的手动过程，依赖于专业的领域知识，直觉和数据处理。而特征选取恰恰是机器学习重要的先期步骤，虽然不如模型训练那样能产生直接可用的结果。本文作者将使用Python的featuretools库进行自动化特征工程的示例。
数据分类汇总与统计是指将大量的数据按照不同的分类方式进行整理和归纳，然后对这些数据进行统计分析，以便于更好地了解数据的特点和规律。
Citus 是一种 PostgreSQL 扩展，它允许数据库服务器（称为节点）在“无共享(shared nothing)”架构中相互协调。这些节点形成一个集群，允许 PostgreSQL 保存比单台计算机上更多的数据和使用更多的 CPU 内核。这种架构还允许通过简单地向集群添加更多节点来扩容数据库。
数据经过采集后通常会被存储到Word、Excel、JSON等文件或数据库中，从而为后期的预处理工作做好数据储备。数据获取是数据预处理的第一步操作，主要是从不同的渠道中读取数据。Pandas支持CSV、TXT、Excel、JSON这几种格式文件、HTML表格的读取操作，另外Python可借助第三方库实现Word与PDF文件的读取操作。本章主要为大家介绍如何从多个渠道中获取数据，为预处理做好数据准备。
来源：www.cnblogs.com/jclian91/p/12305471.html
Apache Flink 是一个兼顾高吞吐、低延迟、高性能的分布式处理框架。在实时计算崛起的今天，Flink正在飞速发展。由于性能的优势和兼顾批处理，流处理的特性，Flink可能正在颠覆整个大数据的生态。
这些函数返回NUMERIC数据类型，除非表达式是数据类型DOUBLE。 如果expression为DOUBLE，则返回DOUBLE。
数据仓库：数据仓库是一个支持管理决策的数据集合。数据是面向主题的、集成的、不易丢失的并且是时间变量。数据仓库是所有操作环境和外部数据源的快照集合。它并不需要非常精确，因为它必须在特定的时间基础上从操作环境中提取出来。 数据集市：数据仓库只限于单个主题的区域，例如顾客、部门、地点等。数据集市在从数据仓库获取数据时可以依赖于数据仓库，或者当它们从操作系统中获取数据时就不依赖于数据仓库。 事实：事实是数据仓库中的信息单元，也是多维空间中的一个单元，受分析单元的限制。事实存储于一张表中（当使用关系数据库时）或者是多
本文将讨论微服务与 DDD 涉及到的概念、策划和设计方法，并且尝试将一个单体应用拆分成多个基于 DDD 的微服务。
在数据分析任务中，从原始数据读入，到最后分析结果出炉，中间绝大部分时间都是在对数据进行一步又一步的加工规整，以流水线（pipeline）的方式完成此过程更有利于梳理分析脉络，也更有利于查错改正。pdpipe作为专门针对pandas进行流水线化改造的模块，为熟悉pandas的数据分析人员书写优雅易读的代码提供一种简洁的思路，本文就将针对pdpipe的用法进行介绍。
https://www.cnblogs.com/feffery/p/12179647.html
cuDF (Pandas GPU 平替)，用于加载、连接、聚合、过滤和其他数据操作。
互联网时代，随着业务数据化，数据越来越多。如何用好数据，做好数据业务化，我们需要有个利器。
一个spark的RDD有一组固定的分区组成，每个分区有一系列的记录组成。对于由窄依赖变换（例如map和filter）返回的RDD，会延续父RDD的分区信息，以pipeline的形式计算。每个对象仅依赖于父RDD中的单个对象。诸如coalesce之类的操作可能导致任务处理多个输入分区，但转换仍然被认为是窄依赖的，因为一个父RDD的分区只会被一个子RDD分区继承。
Seaborn是一个用Python制作统计图形的库。它建立在matplotlib之上，并与pandas数据结构紧密集成。
近年来预训练语言模型(BERT、ERNIE、GPT-3)迅速发展，促进了NLP领域各种任务上的进步，例如阅读理解、命名实体识别等任务。但是目前的这些预训练模型基本上都是在通用文本上进行训练的，在需要一些需要对结构化数据进行编码的任务上（如Text-to-SQL、Table-to-Text），需要同时对结构化的表格数据进行编码，如果直接采用现有的BERT等模型，就面临着编码文本与预训练文本形式不一致的问题。
Pandas是当前Python数据分析中最为重要的工具，其提供了功能强大且灵活多样的API，可以满足使用者在数据分析和处理中的多种选择和实现方式。今天本文以Pandas中实现分组计数这个最基础的聚合统计功能为例，分享多种实现方案，最后一种应该算是一个骚操作了……
当以某种方式组合多个序列或数据帧时，在进行任何计算之前，数据的每个维度会首先自动在每个轴上对齐。 轴的这种无声且自动的对齐会给初学者造成极大的困惑，但它为超级用户提供了极大的灵活性。 本章将深入探讨索引对象，然后展示利用其自动对齐功能的各种秘籍。
机器学习越来越多地从人工设计模型转向使用 H20、TPOT 和 auto-sklearn 等工具自动优化的工具。这些库以及随机搜索（参见《Random Search for Hyper-Parameter Optimization》）等方法旨在通过寻找匹配数据集的最优模型来简化模型选择和机器学习调优过程，而几乎不需要任何人工干预。然而，特征工程作为机器学习流程中可能最有价值的一个方面，几乎完全是人工的。
用于语义分割的实域自适应仿真已被积极研究用于自动驾驶等各种应用。现有的方法主要集中在单个源设置上，无法轻松处理具有不同分布的多个源的更实际的场景。在本文中，我们建议研究用于语义分割的多源域自适应。具体来说，我们设计了一个新的框架，称为多源对抗域聚合网络（MADAN），它可以以端到端的方式进行训练。首先，我们为每个源生成一个具有动态语义一致性的自适应域，同时在像素级循环上一致地对准目标。其次，我们提出了子域聚合鉴别器和跨域循环鉴别器，以使不同的适应域更紧密地聚合。最后，在训练分割网络的同时，在聚合域和目标域之间进行特征级对齐。从合成的GTA和SYNTHIA到真实的城市景观和BDDS数据集的大量实验表明，所提出的MADAN模型优于最先进的方法。
2024年2月26日，英国剑桥大学Pietro Lio教授团队，联合瑞典阿斯利康，在Nature Communications上发表文章Transfer learning with graph neural networks for improved molecular property prediction in the multi-fidelity setting。
在ClickHouse中，ARRAY JOIN子句用于查询和展开数组数据。它可以将一个数组字段展开为多个行，以便在查询结果中分别处理每个数组元素。
一、数据可视化，是关于数据视觉表现形式的科学技术研究。其中，这种数据的视觉表现形式被定义为，一种以某种概要形式抽提出来的信息，包括相应信息单位的各种属性和变量。它是一个处于不断演变之中的概念，其边界在不断地扩大。主要指的是技术上较为高级的技术方法，而这些技术方法允许利用图形、图像处理、计算机视觉以及用户界面，通过表达、建模以及对立体、表面、属性以及动画的显示，对数据加以可视化解释。与立体建模之类的特殊技术方法相比，数据可视化所涵盖的技术方法要广泛得多。
项目链接：https://github.com/rusty1s/pytorch_geometric
本章介绍的是如何在PowerBI模型中实现各类安全性保障。除了我们所熟知的行级别安全性RLS，本文更是介绍了对象级别安全性、表级别安全性、列级别安全性、值级别安全性等。有待大家根据自己的实际业务场景，实现更加符合要求的安全性要求。
Excel作为Office常用办公软件之一，其在一名数据分析师的工作日常中也占有一定地位，比如个人就常常倾向于依赖Excel完成简单的数据处理和可视化作图，其中数据处理部分则主要是运用内置函数+数据透视表两大部分。
一、基本思想 Sharding的基本思想就要把一个数据库切分成多个部分放到不同的数据库(server)上，从而缓解单一数据库的性能问题。不太严格的讲，对于海量 数据的数据库，如果是因为表多而数据多，这时候适合使用垂直切分，即把关系紧密（比如同一模块）的表切分出来放在一个server上。如果表并不多，但每 张表的数据非常多，这时候适合水平切分，即把表的数据按某种规则（比如按ID散列）切分到多个数据库(server)上。当然，现实中更多是这两种情况混 杂在一起，这时候需要根据实际情况做出选择，也可能会综合使用垂
在map的输出value中为不同表的数据打上tag标记，在reduce阶段根据tag判断数据来源。MapReduce的过程如下:
有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作业的性能会比期望差很多。数据倾斜调优，就是使用各种技术方案解决不同类型的数据倾斜问题，以保证Spark作业的性能。
Elasticsearch是一种流行的分布式搜索引擎，可用于处理大量数据。它使用Lucene搜索引擎库作为其核心组件，可以高效地进行复杂的全文搜索、结构化搜索和分析操作。本文将详细介绍Elasticsearch的工作原理。
假设你将一些数据储存在Excel或者Google Sheet中，你又想要尽快地将他们读取至DataFrame中。
一、调优概述 二、数据倾斜发生时的现象 三、数据倾斜发生的原理 四、如何定位导致数据倾斜的代码 五、某个task执行特别慢的情况 六、某个task莫名其妙内存溢出的情况 七、查看导致数据倾斜的key的数据分布情况 八、数据倾斜的解决方案：
Pandas是一个基于Numpy的数据分析库，它提供了多种数据统计和数据分析功能，使得数据分析人员在Python中进行数据处理变得方便快捷，接下来将使用Pandas对MovieLens 1M数据集进行相关的数据处理操作，运用具体例子更好地认识和学习Pandas在数据分析方面的独特魅力。
原文的数据集是 bit.ly 短网址的，我这里在读取时出问题，不稳定，就帮大家下载下来，统一放到了 data 目录里。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
