开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

如何根据数据集大小标准从数据集中采样

根据数据集大小标准从数据集中采样是一种常见的数据处理方法，用于从大规模数据集中选择一部分样本进行分析、建模或训练。以下是完善且全面的答案：

数据集采样是指从一个较大的数据集中选择一部分样本，以代表整个数据集的特征。采样的目的是为了减少计算和处理的复杂性，同时保持对原始数据集的代表性。

数据集采样可以根据数据集大小标准进行不同的方法选择，常见的采样方法包括：

随机采样：从数据集中随机选择一定数量的样本。这种方法适用于数据集较大且样本之间相互独立的情况。腾讯云相关产品推荐：腾讯云弹性MapReduce（EMR），详情请参考：https://cloud.tencent.com/product/emr
等间隔采样：按照一定间隔从数据集中选择样本。这种方法适用于数据集有序排列的情况，例如时间序列数据。腾讯云相关产品推荐：腾讯云数据万象（CI），详情请参考：https://cloud.tencent.com/product/ci
分层采样：将数据集划分为若干层，然后从每一层中选择样本。这种方法适用于数据集有明显层次结构的情况，例如人口统计数据。腾讯云相关产品推荐：腾讯云数据湖分析（DLA），详情请参考：https://cloud.tencent.com/product/dla
聚类采样：使用聚类算法将数据集划分为若干簇，然后从每个簇中选择样本。这种方法适用于数据集具有聚类特征的情况，例如图像分类。腾讯云相关产品推荐：腾讯云机器学习平台（Tencent ML-Platform），详情请参考：https://cloud.tencent.com/product/mlp
智能采样：利用机器学习和人工智能算法自动选择样本，以保证采样结果的代表性和有效性。这种方法适用于数据集复杂、规模庞大的情况。腾讯云相关产品推荐：腾讯云智能图像处理（IVP），详情请参考：https://cloud.tencent.com/product/ivp

根据数据集大小标准从数据集中采样是数据处理中的重要步骤，可以帮助我们更高效地处理和分析大规模数据集。选择适合的采样方法和腾讯云相关产品可以根据具体的数据集特点和需求来确定。

相关搜索:Bigquery:从所有数据集中获取表的大小 Python如何根据条件从现有数据集创建新数据集 R:基于以不同数据集中的点为中心的特定分布从数据集中采样 SQL-如何根据条件对数据集进行采样- (TeraData db)Tensorflow如何从大图像的小数据集中采样大量纹理从keras数据集中导入imdb数据集从MNIST数据集中更改训练和测试集的大小从sklearn数据集中随机采样数据如何从COCO数据集或Open Images V6数据集中提取前景对象？如何从PowerBI数据集中获取数据源查询

相关搜索:

页面内容是否对你有帮助？

有帮助

没帮助

相关·内容

专栏 | MSRA视觉组最新研究：可变形卷积网络

MSRA 视觉组作者：代季峰、齐浩之、熊郁文、李益、张国栋、胡翰、危夷晨近日一篇名为《可变形卷积网络(deformable convolutional networks)》的论文在业内引起了极大的

08

如何通过抽样分布估计你的模型的不确定性

当开始一个新的数据科学项目时，首要任务之一将是获取数据，以便能够评估项目的范围，并开始了解可以实现的目标。如果条件允许拥有一个大的的数据集来进行研究是非常好的情况，然而更多的时候，你将获得一个小的数据集来构建一个基线模型，然后，随着时间的推移，你将收集更多的数据，重新训练你的模型，并改进它。这种情况在加入一家传统上不是“数据驱动”，而是刚刚开始发现数据科学能为他们做什么的公司时很常见。

03

学界 | CIFAR-10+ImageNet=？CINIC-10！

CINIC-10 可以直接替代 CIFAR-10。由于 CIFAR-10 太小（太简单），而 ImageNet 又太大（太难），所以我们将 CINIC-10 编译为基准数据集。虽然 ImageNet32 和 ImageNet 64 比 ImageNet 小，但是它们却更难。CINIC-10 填补了基准数据集的这一空隙。

03

MolFlow: 高效3D分子生成方法

今天为大家介绍的是来自查尔姆斯理工大学的Simon Olsson团队的一篇论文。最近，3D药物设计的生成模型因其在蛋白质口袋中直接设计配体的潜力而获得了广泛关注。然而，目前的方法通常存在采样时间非常慢或生成分子的化学有效性差的问题。为了解决这些限制，作者提出了Semla，一个可扩展的E(3)-等变消息传递架构。作者进一步介绍了一个分子生成模型MolFlow，该模型使用流匹配和尺度最优传输进行训练，这是等变最优传输的一种新扩展。作者的模型在基准数据集上仅需100个采样步骤就能产生最先进的结果。关键是，MolFlow在不牺牲性能下只需20个步骤就能采样出高质量分子，相比于现有技术实现了两个数量级的速度提升。最后，作者比较了MolFlow与当前方法在生成高质量样本方面的能力，进一步展示了其强大性能。

01

OpenGraph: 通用图大模型

论文：arxiv.org/abs/2403.01121 代码：github.com/HKUDS/OpenGraph 港大数据智能实验室主页: sites.google.com/view/chaoh

01

十分流行的自举法（Bootstrapping ）为什么有效

我们的项目并不总是有充足的数据。通常，我们只有一个样本数据集可供使用，由于缺乏资源我们无法执行重复实验(例如A/B测试)。

02

十分流行的自举法（Bootstrapping ）为什么有效

来源：DeepHub IMBA本文约1000字，建议阅读5分钟本文旨在以一种为外行介绍的方式展示自举法的“为什么”。我们的项目并不总是有充足的数据。通常，我们只有一个样本数据集可供使用，由于缺乏资源我们无法执行重复实验(例如A/B测试)。幸运的是，我们有重采样的方法来充分利用我们所拥有的数据。自举法（Bootstrapping）是一种重采样技术，可以为我们解决这个问题。虽然我们可能对自举法背后的“为什么”和“如何”很熟悉，但这篇文章旨在以一种为外行介绍的方式展示自举法的“为什么”。自举法的快速回顾自

03

KiTS19——肾肿瘤分割挑战赛（十）

最近，有很多朋友提出，肾脏分割模型在实际使用时会出现很多错误分割，很多大腿区域被错误分割出是肾脏区域。今天我将分享如何设计肾脏粗分割方法去除错误分割区域，使用的模型VNet方法跟肾脏分割是类似的。

01

【NLP】NER数据标注中的标签一致性验证

数据标注在建立基准和确保使用正确的信息来学习NER模型方面起着至关重要的作用。要想获得准确的标签，不仅需要时间还需要专业知识。然而标签错误又几乎是无法避免的，错误的标签会导致标注数据子集(例如，训练集和测试集，或多个训练子集)之间的标签不一致。标签的不一致性是影响NER任务性能提升的因素之一，比如在被引用超过2300次的标准NER基准CoNLL03数据集中，发现测试集中有5.38%的标签错误，当对其中的错误标签进行纠正后，相比于原始测试集得到的结果更加准确和稳定。

01

arXiv | ExT5：利用大规模有监督多任务学习来改进NLP模型的自监督预训练策略

本文介绍由Google Research和DeepMind合作发表于arXiv上的研究工作。尽管近年来多任务学习和迁移学习在自然语言处理（NLP）领域取得了成功，但很少有工作系统地研究在预训练期间扩大任务数量的效果。本文提出了一个由107个有监督NLP任务组成、跨越不同领域和任务族的庞大集合EXMIX（Extreme Mixture）。利用EXMIX，作者研究了迄今为止规模最大的多任务预训练的效果，并分析了常见任务族之间的协同训练迁移。分析表明，为多任务预训练手动策划一个理想的任务集并不简单，而且多任务扩展本身就能极大地改善模型。最后，作者提出了一个使用自监督C4和有监督EXMIX的多任务目标进行预训练的模型ExT5。广泛的实验表明，ExT5在SuperGLUE、GEM、Rainbow、Closed-Book QA任务和EXMIX以外的几个任务上都优于强大的T5基线，而且ExT5在预训练时也明显提高了采样效率。

01

如何优化一个传统分析方法还发了14分

Benchmarking principal component analysis for large-scale single-cell RNA-sequencing大规模单细胞RNA测序的基准主成分分析

02

FASA: Feature Augmentation and Sampling Adaptationfor Long-Tailed Instance Segmentation

最近的长尾实例分割方法在训练数据很少的稀有目标类上仍然很困难。我们提出了一种简单而有效的方法，即特征增强和采样自适应（FASA），该方法通过增强特征空间来解决数据稀缺问题，特别是对于稀有类。特征增强（FA）和特征采样组件都适用于实际训练状态——FA由过去迭代中观察到的真实样本的特征均值和方差决定，我们以自适应损失的方式对生成的虚拟特征进行采样，以避免过度拟合。FASA不需要任何精心设计的损失，并消除了类间迁移学习的需要，因为类间迁移通常涉及大量成本和手动定义的头/尾班组。我们展示了FASA是一种快速、通用的方法，可以很容易地插入到标准或长尾分割框架中，具有一致的性能增益和很少的附加成本。

01

TensorFlow系列专题（二）：机器学习基础

数据预处理的方式较多，针对不同类型的数据，预处理的方式和内容也不尽相同，这里我们简单介绍几种较为常用的方式：

04

【应用】信用评分：第7部分 - 信用风险模型的进一步考虑

以满足科学模型开发的主要标志 - 严谨性，可测试性，可复制性和精确性以及可信度 - 考虑模型验证以及如何处理不平衡数据非常重要。本文概述了可用于满足这些标志的高级验证框架，并简要介绍了处理不平衡数据时常用的方法。

03

精确控制数据模型误差（下）

有各种各样的方法试图衡量候选模型和真实模型之间有多少信息丢失的模型误差。当然，真正的模型（实际用于生成数据）是未知的，但是给定某些假设，我们仍然可以获得它与我们提出的模型之间的差异的估计。对于给定的问题，该差异越大，误差越高，并且测试模型越差。

01

智能运维常见时序数据异常点检测技术

基于数据，构建一个概率分布模型，得出模型的概率密度函数。通常，异常点的概率是很低的。

01

全新训练及数据采样&增强策略、跨尺度泛化能力强，FB全景分割实现新SOTA

全景分割网络可以应对很多任务（目标检测、实例分割和语义分割），利用多批全尺寸图像进行训练。然而，随着任务的日益复杂和网络主干容量的不断增大，尽管在训练过程中采用了诸如 [25,20,11,14] 这样的节约内存的策略，全图像训练还是会被可用的 GPU 内存所抑制。明显的缓解策略包括减少训练批次大小、缩小高分辨率训练图像，或者使用低容量的主干。不幸的是，这些解决方法引入了其他问题：1) 小批次大小可能导致梯度出现较大的方差，从而降低批归一化的有效性 [13]，降低模型的性能；2）图像分辨率的降低会导致精细结构的丢失，这些精细结构与标签分布的长尾目标密切相关；3）最近的一些工作[28,5,31] 表明，与容量较低的主干相比，具有复杂策略的更大的主干可以提高全景分割的结果。

01

OpenGraph: 通用图基座模型

TLDR: 港大发布通用图基座模型OpenGraph，巧妙地从大语言模型（LLM）中蒸馏零样本以增强图泛化能力。

01

Microbiome: 标准化和微生物差异丰度策略取决于数据特征

https://link.springer.com/article/10.1186/s40168-017-0237-y

02

Tensorflow入门教程（四十六）——SDU-Net

今天将分享Unet的改进模型SDU-Net，改进模型来自2020年的论文《UNet Using Stacked Dilated Convolutions for Medical Image Segmentation》，简单明了给大家分析理解该模型思想。

02

学界 | CMU与谷歌新研究提出文本跳读方法，速度可达标准序贯LSTM的6倍

选自arXiv 机器之心编译参与：吴攀因为很多文本内容都含有一些与主题不相关的东西，所以让机器学会根据上下文进行跳读可以大大节省文本处理的时间和效率。近日，卡内基梅隆大学和谷歌的研究者提出了一种让计算机可以学习跳读的新方法 LSTM-Jump，据该论文《Learning to Skim Text》介绍：这种模型的速度可以达到标准序贯 LSTM 的 6 倍，而且还能保证良好的准确度结果。机器之心对该研究的论文进行了摘要介绍，原论文可点击文末「阅读原文」查阅。想要更深入了解文本跳读研究的读者可参阅另一篇文

04

数据集划分的三种常见方式！

数据集划分算是在数据分析建模中比较重要的，模型的好坏不但和训练数据有关，还和测试数据有关，当然，也和评估指标有关，不过今天先来看前者。

02

不同数据集有不同的Scaling law？而你可用一个压缩算法来预测它

一般而言，训练神经网络耗费的计算量越大，其性能就越好。在扩大计算规模时，必须要做个决定：是增多模型参数量还是提升数据集大小 —— 必须在固定的计算预算下权衡此两项因素。

01

干货整理：处理不平衡数据的技巧总结！收好不谢

文：Rick Radewagen 译：李萌在银行欺诈检测，市场实时竞价或网络入侵检测等领域通常是什么样的数据集呢？在这些领域使用的数据通常有不到1％少量但“有趣的”事件，例如欺诈者利用信用卡，用户

【深度学习】图像语义分割

语义分割(Semantic Segmentation)是图像处理和机器视觉一个重要分支，其目标是精确理解图像场景与内容。语义分割是在像素级别上的分类，属于同一类的像素都要被归为一类，因此语义分割是从像素级别来理解图像的。如下如所示的照片，属于人的像素部分划分成一类，属于摩托车的像素划分成一类，背景像素划分为一类。

04

ABCNet：端到端的可训练框架的原理应用与优势对比

ABCNet（Adaptive Bezier Curve Network）是一个端到端的可训练框架，用于识别任意形状的场景文本。直观的pipeline如图所示。采用了单点无锚卷积神经网络作为检测框架。移除锚定箱可以简化我们任务的检测。该算法在检测头输出特征图上进行密集预测，检测头由4个步长为1、填充为1、3×3核的叠层卷积层构成。

05

北航、旷视联合，打造最强实时语义分割网络

下面要介绍的论文由北航、旷视、鹏城实验室发于2019年12月，题为「Real-Time Semantic Segmentation via Multiply Spatial Fusion Network」。

01

高度不平衡的数据的处理方法

假设您正在尝试构建一个模型来预测受访者，并且在您的数据集中，约有3％的人口会作出回应（目标= 1）。在不应用任何特定分析技术的情况下，您的预测结果很可能是每个记录都被预测为非响应者（预测目标= 0），从而使预测结果信息量不足。这是由于这种信息的性质，我们称之为高度不平衡的数据。数据的不平衡本质可能是内在的，这意味着不平衡是数据空间性质[1]的直接结果，或者是外在的，这意味着不平衡是由数据的固有特性以外的因素引起的，例如数据收集，数据传输等作为数据科学家，我们主要关注内在数据不平衡; 更具体地说，数据集

02

单细胞RNA-seq数据分析最佳实践（中）

Luecken MD, Theis FJ. Current best practices in single-cell RNA-seq analysis: a tutorial. Mol. Syst. Biol. 2019, 15: e8746.

02

使用扩散模型从文本提示中生成3D点云

虽然最近关于根据文本提示生成 3D点云的工作已经显示出可喜的结果，但最先进的方法通常需要多个 GPU 小时来生成单个样本。这与最先进的生成图像模型形成鲜明对比，后者在几秒或几分钟内生成样本。在本文中，我们探索了一种用于生成 3D 对象的替代方法，该方法仅需 1-2 分钟即可在单个 GPU 上生成 3D 模型。我们的方法首先使用文本到图像的扩散模型生成单个合成视图，然后使用以生成的图像为条件的第二个扩散模型生成 3D 点云。虽然我们的方法在样本质量方面仍未达到最先进的水平，但它的采样速度要快一到两个数量级，为某些用例提供了实际的权衡。我们在 https://github.com/openai/point-e 上发布了我们预训练的点云扩散模型，以及评估代码和模型。

03

一种改进的MobileNet- SSD算法用于车身漆面缺陷自动检测

论文地址：https://link.springer.com/content/pdf/10.1007/s11042-020-09152-6.pdf

03

使用重采样评估Python中机器学习算法的性能

你需要知道你的算法在看不见的数据上表现如何。

主动学习减少对标注数据的依赖，却造成标注冗余？NeurIPS 2019 论文解决了这个问题！

深度学习如今能够大获成功，其中的一大功臣便是大规模的标注数据。然而在大多数现实场景中，我们往往只能获得未经标注的大规模数据集，如果要对这么多数据进行人工标注，势必耗费大量的人力成本。在此前，研究界已经提出主动学习的方法来解决这一问题，然后采用该方法选择出来的数据可能存在大量重复的情况，从而造成标注冗余问题。

01

视频数据训练太慢？试试UT-Austin&FAIR提出的多重网格训练，加速4.5倍，还能提点！

训练深度视频模型比训练其对应图像模型慢一个数量级。训练慢导致研究周期长，阻碍了视频理解研究的进展。按照训练图像模型的标准做法，视频模型训练使用了固定的mini-batch形状，即固定数量的片段，帧和空间大小。

01

重回榜首的BERT改进版开源了，千块V100、160GB纯文本的大模型

BERT 自诞生以来就展现出了卓越的性能，GLUE 排行榜上前几名的模型一度也大多使用 BERT。然而，XLNet 的横空出世，打破了 BERT 的纪录。不过，不久之后，剧情再次出现反转，Facebook 创建的改进版 BERT——RoBERTa，登上了 GLUE 排行榜榜首。

02

【数据集】LVIS：大规模细粒度词汇级标记数据集，出自FAIR ，连披萨里的菠萝粒都能完整标注

最近，FAIR 开放了 LVIS，一个大规模细粒度词汇集标记数据集，该数据集针对超过 1000 类物体进行了约 200 万个高质量的实例分割标注，包含 164k 大小的图像。

06

医学影像分割难题获突破：可自动调参，适应所有数据集

nnU-Net的贡献在于：不仅可以用作开箱即用的分割工具，还可以用作未来医学分割相关发表论文的强大U-Net baseline和平台。

02

重回榜首的BERT改进版开源了，千块V100、160GB纯文本的大模型

BERT 自诞生以来就展现出了卓越的性能，GLUE 排行榜上前几名的模型一度也大多使用 BERT。然而，XLNet 的横空出世，打破了 BERT 的纪录。不过，不久之后，剧情再次出现反转，Facebook 创建的改进版 BERT——RoBERTa，登上了 GLUE 排行榜榜首。

05

1分钟训练百万级别节点嵌入，加拿大Mila研究所开源图嵌入训练系统GraphVite

图是一种通用、灵活的数据结构，可以用来编码不同对象之间的关系，并且在现实世界中非常普遍，如社交网络、引文图、蛋白质相互作用图、知识图谱等，涵盖了多个应用和领域。最近，由于图在多个任务中表现出色，越来越多的研究人员开始尝试学习图的有效表征。然而，这是一个颇具挑战性的问题，因为现实世界中的图可能非常庞大，并且是异质的。因此，业界和学界的不同任务和应用都迫切需要可扩展的通用图表征系统。

04

统计学5个基本概念，你知道多少？

本文讲述了数据分析师应当了解的五个统计基本概念：统计特征、概率分布、降维、过采样/欠采样、贝叶斯统计方法。

02

Kaggle Carvana 图像分割比赛冠军模型 TernausNet 解读

AI 研习社按：2017 年 7 月，美国二手汽车零售平台 Carvana 在知名机器学习竞赛平台 kaggle 上发布了名为 Carvana 图像掩模大挑战赛（Carvana Image Maski

06

数据分析师都应该了解的统计基本概念

从高的角度来看，统计学是一种利用数学理论来进行数据分析的技术。象柱状图这种基本的可视化形式，会给你更加全面的信息。但是，通过统计学我们可以以更富有信息驱动力和针对性的方式对数据进行操作。所涉及的数学理论帮助我们形成数据的具体结论，而不仅仅是猜测。

01

理论结合实践，一文搞定异常检测技术

数据集汇总的异常数据通常被认为是异常点、离群点或孤立点，特点是这些数据的特征与大多数数据不一致，呈现出"异常"的特点，检测这些数据的方法称为异常检测。

04

深度模型中的优化(一)、学习和纯优化有什么不同

深度学习在许多情况下都涉及优化。例如，模型中的进行推断(如PCA)涉及求解优化问题。我们经常使用解析优化去证明或设计算法。在深度学习涉及到的诸多优化问题中，最难的是神经网络训练，甚至是几百台机器投入几天到几个月来解析单个神经网络训练问题，也是很常见的。因为这其中的优化问题很重要，代价也很高，因此研究者们开发了一组专门为此设计的优化技术。下面关注一类特定的优化问题：寻找神经网络上的一组参数，它能显著的降低代价函数，该代价函数通常包括整个训练集上的性能评估和额外的正则化。

03

Tensorflow入门教程(二十七）——多尺度深监督VNet（MSDSVNet）

上两篇我分享了深度监督VNet和多尺度VNet，效果已经有所改善，进一步改进的话，非常简单的想法就是把两者进行结合，那么今天我将分享多尺度深度监督VNet。

01

干货 | Kaggle Carvana图像分割比赛冠军模型TernausNet解读

AI 科技评论按：2017 年 7 月，美国二手汽车零售平台 Carvana 在知名机器学习竞赛平台 kaggle 上发布了名为 Carvana 图像掩模大挑战赛（Carvana Image Mask

05

独家 | 处理非均衡数据的7种技术

在这些领域的数据通常只占有总数据量不到1%，为罕见但“有趣的”事件（例如，骗子使用信用卡、用户点击广告或入侵服务器扫描其网络）。然而，绝大多数机器学习算法并不能很好地处理这些非均衡的数据集。利用以下七种技术可以通过训练一个分类器来检测出上述异常类。

02

新版 PyTorch 1.2 已发布：功能更多、兼容更全、操作更快！

近日，PyTorch 社区又添入了「新」工具，包括了更新后的 PyTorch 1.2，torchvision 0.4，torchaudio 0.3 和 torchtext 0.4。每项工具都进行了新的优化与改进，兼容性更强，使用起来也更加便捷。PyTorch 发布了相关文章介绍了每个工具的更新细节，AI 开发者将其整理与编译如下。

04

统计学5个基本概念，你知道多少？

本文讲述了数据分析师应当了解的五个统计基本概念：统计特征、概率分布、降维、过采样/欠采样、贝叶斯统计方法。

03

CFPFormer| 将特征金字塔与 Transformer 完美融合，显著提升图像分割与目标检测效果！

深度学习技术的出现，特别是像U-Net [20]这样的卷积神经网络（CNNs），通过提高图像分割和分析等任务的准确性和效率，显著推动了该领域的发展。这在现代医疗中发挥着关键作用，帮助临床医生进行准确诊断、治疗规划以及疾病监测。

01

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭