对于 Python 环境下开发的数据科学团队，Dask 为分布式分析指出了非常明确的道路，但是事实上大家都选择了 Spark 来达成相同的目的。Dask 是一个纯 Python 框架，它允许在本地或集群上运行相同的 Pandas 或 Numpy 代码。而 Spark 即时使用了 Apache 的 pySpark 包装器，仍然带来了学习门槛，其中涉及新的 API 和执行模型。鉴于以上陈述，我们下面将对比这两个技术方案。
随着新版本的推出，RAPIDS 迎来了其推出一周年纪念日。回顾所经历的一年，RAPIDS团队就社区对该项目的关心和支持表示衷心的感谢。此前，RAPIDS获得了其首个BOSSIE奖。非常感谢各位的支持！RAPIDS团队将继续推动端对端数据科学加快发展，达到新高度。
在过去的几年里，Python已成为数据科学和人工智能的通用语言，所有使用Python作为主要界面语言的着名深度学习框架（Keras，Pytorch，MXNet）。与竞争语言相比，Python在DS和AI的几乎每个方面都可以与之竞争或超越：最新的机器学习算法及其高效实现（Scikit-Learn，LightGBM，XGBoost），数据处理和分析（Pandas，cuDF），高效的数值计算库（Numpy） ，PyPy，Numba），GPU计算（CuPY）和Web API编程（Flask，Celery）。
Python由于其易用性而成为最流行的语言，它提供了许多库，使程序员能够开发更强大的软件，以并行运行模型和数据转换。
对于Pandas运行速度的提升方法，之前已经介绍过很多回了，里面经常提及Dask，很多朋友没接触过可能不太了解，今天就推荐一下这个神器。
刚刚在Pandas上为十几KB的数据做好了测试写好了处理脚本，上百TB的同类大型数据集摆到了面前。这时候，你可能面临着一个两难的选择： 继续用Pandas？可能会相当慢，上百TB数据不是它的菜。 (ಥ
Dask 是一个开源库，旨在为现有 Python 堆栈提供并行性。Dask 与 Python 库（如 NumPy 数组、Pandas DataFrame 和 scikit-learn）集成，无需学习新的库或语言，即可跨多个核心、处理器和计算机实现并行执行。
选自UC Berkeley Rise Lab 作者：Devin Petersohn 机器之心编译 参与：Nurhachu Null、路雪 本文中，来自 UC Berkeley 的 Devin Petersohn 发布文章介绍了其参与的项目 Pandas on Ray，使用这款工具，无需对代码进行太多改动即可加速 Pandas，遇到大型数据集也不怕。作者还对 Pandas on Ray、Pandas 进行了对比评估。机器之心对此文进行了编译介绍。 项目链接：https://github.com/ray-pro
表格是存储数据的最典型方式，在Python环境中没有比Pandas更好的工具来操作数据表了。尽管Pandas具有广泛的能力，但它还是有局限性的。比如，如果数据集超过了内存的大小，就必须选择一种替代方法。但是，如果在内存合适的情况下放弃Pandas使用其他工具是否有意义呢？
Dask是一个用于并行计算的强大工具，它旨在处理大规模数据集，将数据拆分成小块，并使用多核或分布式系统并行计算。Dask提供了两种主要的数据结构：Dask.array和Dask.dataframe。在本文中，我们将重点介绍Dask.array，它是Dask中用于处理多维数组数据的部分。
在Pandas 2.0发布以后，我们发布过一些评测的文章，这次我们看看，除了Pandas以外，常用的两个都是为了大数据处理的并行数据框架的对比测试。
如何将20GB的CSV文件放入16GB的RAM中。 如果你对Pandas有一些经验，并且你知道它最大的问题——它不容易扩展。有解决办法吗? 是的-Dask DataFrames。 大多数Dask AP
RAPIDS cuGraph库是一组图形分析，用于处理GPU数据帧中的数据 - 请参阅cuDF。 cuGraph旨在提供类似NetworkX的API，这对数据科学家来说很熟悉，因此他们现在可以更轻松地构建GPU加速的工作流程
以下内容来自reddit 社区（Distributed computing in Rust, https://www.reddit.com/r/rust/comments/155hxlf/distributed_computing_in_rust/），由小编重新整理后发布，读起来也许会更流畅些，因为在整理过程中，会揉一些小遍的思考进去，感兴趣的小伙伴，可以在读完本文后，去读读原文，链接在上方。因为是边看reddit，边译边写边思考，可能行文会有些乱。见谅！
做 数据仓库系统，ETL是关键的一环。说大了，ETL是数据整合解决方案，说小了，就是倒数据的工具。回忆一下工作这么些年来，处理数据迁移、转换的工作倒 还真的不少。但是那些工作基本上是一次性工作或者很小数据量，使用access、DTS或是自己编个小程序搞定。可是在数据仓库系统中，ETL上升到了一 定的理论高度，和原来小打小闹的工具使用不同了。究竟什么不同，从名字上就可以看到，人家已经将倒数据的过程分成3个步骤，E、T、L分别代表抽取、转换 和装载。
本篇介绍 8 个可以替代pandas的库，在加速技巧之上，再次打开速度瓶颈，大大提升数据处理的效率。
有任务需要处理一堆收集来得开源数据集，在服务器单机跑了一天才给结果，多方咨询有HPC可以用，或者叫supercomputer，或者叫计算机集群，大部分的简称grid。看了wiki、confluence，给出一堆链接在脑海中织出密密麻麻的蜘蛛网——无从下手。居然没有use case出发端到端的参考demo，真是无力吐槽。自力更生求助google，youtube，stack overflow，梳理下来，简而言之，可以理解分而治之多线程的多处理核（cpu/gpu）的版本，涉及算力资源调度引入slurm，涉及通讯引入mpi。
在当今云计算和DevOps的时代，管理和维护多个集群环境已成为一项挑战。每个集群都有其独特的特性和需求，如开发、测试、生产等。有效管理这些集群需要精心规划和合适的工具。
我们有一个环境，其中包含分属三个不同供应商（AWS、GCP 和私有云）的三个集群，我们希望不同集群中运行的应用能够互相通信，以及：
在软件开发和IT运维领域，配置管理一直是不可或缺的一环。随着技术的发展，配置管理经历了多个时期，涌现出了各种工具和方法。本文将探讨配置管理的历史，并重点关注以下四个方面：版本控制、应用配置、系统配置以及云化的资源配置。
XGBoost是一种强大的机器学习算法，但在处理大规模数据时，单节点的计算资源可能不足以满足需求。因此，分布式计算是必不可少的。本教程将介绍如何在Python中使用XGBoost进行分布式计算和大规模数据处理，包括设置分布式环境、使用分布式特征和训练大规模数据集等，并提供相应的代码示例。
在数据科学计算、机器学习、以及深度学习领域，Python 是最受欢迎的语言。Python 在数据科学领域，有非常丰富的包可以选择，numpy、scipy、pandas、scikit-learn、matplotlib。
编辑手记：Evernote在短暂的时间里完成了向云端的迁移，其战果可喜可贺，然而每一次成功，都是背后的默默的努力和付出支撑起来的。在迁移的过程中，面对网络、硬件、软件、用户各方面的问题，Evernote是如何处理，并设计新的架构的，我们一起来学习。 注：本文来自Evernote官方文档翻译，若有不对的地方请参考原文。 系列文章回顾： 1、用户零感知到达云端: Evernote顺利完成向 Google 云平台的迁移 2、云端迁移 - Evernote服务迁移到Google云端平台（GCP）的方法论 系统架构
Kubeflow 是在 K8S 集群上跑机器学习任务的工具集，提供了 Tensorflow, Pytorch 等等机器/深度学习的计算框架，同时构建容器工作流 Argo 的集成，称为 Pipeline。关于其部署，最新版本的本地部署有很多问题，Github 上的 issue 大多数都是与部署有关的，所以如果不是在 GCP 上部署，会可能碰到各种各样的问题。
pandas虽然是个非常流行的数据分析利器，但很多朋友在使用pandas处理较大规模的数据集的时候经常会反映pandas运算“慢”，且内存开销“大”。
Modin是一个Python第三方库，可以通过并行来处理大数据集。它的语法和pandas非常相似，因其出色的性能，能弥补Pandas在处理大数据上的缺陷。
Svelte 是一种全新的构建用户界面的方法。传统框架如 React 和 Vue 在浏览器中需要做大量的工作，而 Svelte 将这些工作放到构建应用程序的编译阶段来处理。
2.WireGuard 系列文章（二）：WireGuard 简介 - 快速、现代、安全的 V** 隧道[2]
一，分析代码运行时间 第1式，测算代码运行时间 平凡方法 快捷方法（jupyter环境） 第2式，测算代码多次运行平均 时间 平凡方法 快捷方法（jupyter环境） 第3式，按调用函数分析代码运行时
分发深度学习模型训练已经成为何时进行训练的问题，而不是如果这样做。最先进的ML模型（例如BERT）具有数亿个参数，而在一台机器上训练这些大型网络将花费数天甚至数周的时间。
正如我们在之前的博客中展示的那样，Elastic® 提供了一种从 Kubernetes 集群和运行在其上的应用程序中采集和管理遥测数据的方式。Elastic 提供了开箱即用的仪表板来帮助跟踪指标、提供日志管理和分析、APM （也支持原生 OpenTelemetry），以及使用 AIOps 功能和机器学习（ML）分析所有内容的能力。虽然您可以在 Elastic 中使用预置的 ML 模型、开箱即用的 AIOps 功能或自己的 ML 模型来主动发现和定位异常，但仍然需要深入挖掘问题的根本原因。Elastic 的解决方案有效降低了运维的操作工作并提升了高效运营，但用户仍然需要一种方式来调查和理解从特定错误消息的含义到问题的根本原因的所有内容。作为一个操作用户，如果您以前没有遇到过特定的错误或它是一些运行脚本的一部分，您可能会去google并开始搜索信息。
本文将帮助你了解如何快速在 Elastic 中实施图像相似度搜索。你仅需要：要创建应用程序环境，然后导入 NLP 模型，最后针对您的图像集完成嵌入的生成工作。就这么简单！
cuDF (Pandas GPU 平替)，用于加载、连接、聚合、过滤和其他数据操作。
Python运行的慢是历来被诟病的，一方面和语言有关，另一方面可能就是你代码的问题。语言方面的问题我们解决不了，所以只能在编程技巧上来提高程序的运行效率。下面就给大家分享几个提高运行效率的编程方法。
最初于2018年11月17日在Medium发布。自此以来，该帖子已更新，可以使用最新版本的JHipster（6.3.0）和Istio（1.3.0）。
嗨，在当今动态的环境中，在 450 多家经过 Kubernetes 认证的服务提供商和众多经过 Kubernetes 认证的发行版中进行导航可能是一项艰巨的挑战。本博客旨在通过展示精心整理的2023 年最常用和最流行的 Kubernetes 工具列表来简化此过程。
在 Cloudera，我们一直相信自动化是交付安全、随时可用且配置良好的平台的关键。因此，我们很高兴地宣布公开发布基于 Ansible 的自动化来部署 CDP 私有云基础集群。通过以这种方式自动化集群部署，您可以降低配置错误的风险，促进环境中跨多个集群的一致部署，并帮助更快地交付业务价值。
在云计算日益普及的今天，如何有效、经济且无缝地在各种云平台上运行大语言模型（LLMs）、AI 和批处理作业成为了迫切的需求。SkyPilot 项目应运而生，旨在解决这一核心问题。它不仅抽象并简化了云基础设施操作，为用户提供了在任何云平台上轻松部署和扩展作业的能力，还通过自动获取多个云平台 GPU 的实时价格并进行实时比价，帮助用户选择最优的云平台来运行自己的 Job。这样做极大地降低了成本，提供了高度的 GPU 可用性，让云基础设施管理变得轻而易举。这样做极大的满足了市场对高效、低成本云资源利用的需求。通过 SkyPilot，企业和开发者能够最大化地利用 GPU，进一步推动了人工智能和大数据处理技术的发展，为云计算市场带来了新的可能。
有了能做出惊人预测的模型之后，要做什么呢？当然是部署生产了。这只要用模型运行一批数据就成，可能需要写一个脚本让模型每夜都跑着。但是，现实通常会更复杂。系统基础组件都可能需要这个模型用于实时数据，这种情况需要将模型包装成网络服务：这样的话，任何组件都可以通过REST API询问模型。随着时间的推移，你需要用新数据重新训练模型，更新生产版本。必须处理好模型版本，平稳地过渡到新版本，碰到问题的话需要回滚，也许要并行运行多个版本做AB测试。如果产品很成功，你的服务可能每秒会有大量查询，系统必须提升负载能力。提升负载能力的方法之一，是使用TF Serving，通过自己的硬件或通过云服务，比如Google Cloud API平台。TF Serving能高效服务化模型，优雅处理模型过渡，等等。如果使用云平台，还能获得其它功能，比如强大的监督工具。
上一篇文件 Tekton介绍 介绍了Tekton、Tekton的安装教程、以及使用Tekton实现简单的HelloWorld，这篇文章通过复杂的项目实现完整的CI/CD流程来了解Tekton的使用。
AI 科技评论按：作为排名靠前的最受欢迎和增长最快的编程语言之一，Python 是一种多用途、高级别、面向对象、交互式、解释型和对用户非常友好的编程语言，拥有卓越的可读性和极高的自由度。而为了能利用多核多线程的的优势，同时又要保证线程之间数据完整性和状态同步，Python 官方的、最广泛使用的解释器——CPython 往往会采取最简单的加锁的方式——全局解释器锁（GIL）。
《从混合云到分布式云 （上篇）》（以下简称《上篇》）发出来后，有位老友转发了文章并添加了评论“混合云除了出现在PPT，现实是不存在的”。所以，在谈混合云案例之前，得首先回答一个问题：混合云在现实中存在吗？
随着软件供应链攻击的增加，保护我们的软件供应链变得更加重要。此外，在过去几年中，容器的采用也有所增加。有鉴于此，对容器镜像进行签名以帮助防止供应链攻击的需求日益增长。此外，我们今天使用的大多数容器，即使我们在生产环境中使用它们，也容易受到供应链攻击。在传统的 CI/CD 工作流中，我们构建镜像并将其推入注册中心。供应链安全的一个重要部分是我们构建的镜像的完整性，这意味着我们必须确保我们构建的镜像没有被篡改，这意味着保证我们从注册中心中提取的镜像与我们将要部署到生产系统中的镜像相同。证明镜像没有被篡改的最简单和最好的方法之一（多亏了 Sigstore）是在构建之后立即签名，并在允许它们部署到生产系统之前验证它。这就是 Cosign 和 Kyverno 发挥作用的地方。
摘要:本文通过在GPU云服务器上部署和配置MySQL数据库,并使用RAPIDS GPU数据处理库进行加速,来详细阐述如何利用GPU强大的并行计算能力,加速MySQL数据库的查询和分析操作,使其比传统CPU实现获得数倍的性能提升。
我不是任何这些引擎的专家，但已经使用了其中的一些（Airflow和Azkaban）并检查了代码，对于其他一些产品，我要么只阅读代码（Conductor）或文档（Oozie / AWS步骤函数），由于大多数是OSS项目，我当然可能错过了某些未记录的功能或社区贡献的插件。如果你发现任何错误，我很乐意更新。
领取专属 10元无门槛券
手把手带您无忧上云
