在R语言中绘制表格的包我们介绍了非常多，除了专门绘制基线资料表的compareGroups/tableone/table1，还介绍了绘制普通表格的gt，以及扩展包gtExtra。
本杂志开源（GitHub: ShixiangWang/weekly[1]），欢迎提交 issue，投稿或推荐生信相关内容。
今（昨）天上午时候交流群里一个小伙伴关于管道符疑问中出现了tbl_summary函数，下午另一个小伙伴有table1相关疑问。
项目地址：https://github.com/ddsjoberg/gtsummary[1]
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/wzy0623/article/details/79578574
一、交叉验证概述 机器学习技术在应用之前使用“训练+检验”的模式，通常被称作“交叉验证”，如图1所示。 图1 1. 预测模型的稳定性 让我们通过以下几幅图来理解这个问题
本文适用于对以机器学习为中心研究的跨专业学者（生物，化学，材料科学专业等）的研究者。这篇文章主要以材料科学为例，涵盖了有关数据，特征工程，模型训练，验证，评估和对比，一些热门的材料评估指标和数据集，模型和架构分享，以及发布的内容。结果，这里还包括了相互Jupyter Notebook和一些示例Python程序来演示一些概念，工作流程和最佳方法实践。 总体而言，此处以一种简单的形式形式的数据驱动的方法和机器学习工作流程以及注意事项。研究人员的读者可以根据本文的建议阅读参考资料，尝试最佳实践，并运用到自己领域上的相关专业知识。
“聚类”（Clustering）试图将数据集中的样本划分为若干个不相交的子集，每个子集被称为一个“簇”或者“类”，英文名为Cluster。比如鸢尾花数据集（Iris Dataset）中有多个不同的子品种：Setosa、Versicolor、Virginica，不同品种的一些观测数据是具有明显差异的，我们希望根据这些观测数据将其进行聚类。
作者 | Rafael Müller , Simon Kornblith, Geoffrey Hinton
昨日，在旷视科技联合北京智源人工智能研究院举办的发布会上，旷视研究院发布了物体检测数据集 Objects365，包含 63 万张图像数量，365 个类别数量，高达 1000 万的框数。旷视首席科学家兼研究院院长孙剑在活动上表示，该数据集也是新一代通用物体检测数据集，具有规模大、质量高、泛化能力强的特点。
之前一段时间我们了解到的算法中，可以说是一个比一个复杂，本文呢，我们不再增加难度，来说一个最基础、最简单的监督学习算法KNN。
MADlib是一个基于SQL的数据库内置的开源机器学习库，具有良好的并行度和可扩展性，有高度的预测精准度。MADlib最初由Pivotal公司与伯克利大学合作开发，提供了多种数据转换、数据探索、概率统计、数据挖掘和机器学习方法，使用它能够简易地对结构化数据进行分析和学习，以满足各行各业的应用需求。用户可以非常方便地将MADlib加载到数据库中，从而扩展数据库的分析功能。2015年7月MADlib成为Apache软件基金会的孵化器项目，经过两年的发展，于2017年8月毕业成为Apache顶级项目。最新的MADlib 1.18.0可以与PostgreSQL、Greenplum和HAWQ等数据库系统无缝集成。Greenplum MADlib扩展提供了在Greenplum数据库中进行机器学习和深度学习工作的能力。
近日， Protein Science期刊在线发表了上海交通大学生命科学技术学院魏冬青教授与熊毅副研究员团队题为TEPCAM: prediction of T cell receptor-epitope binding specificity via interpretable deep learning的研究论文。上海交通大学硕士研究生陈俊炜是论文的第一作者。上海交通大学熊毅副研究员和中南大学李敏教授是论文共同通讯作者。
原文：https://themockup.blog/posts/2020-09-04-10-table-rules-in-r/ Rmd[1]
许久没写公众号了，日前有人留言询问最近有无更新，于是小编就来更新了。今天小编打算给大家分享一下SAS实现交叉表的自动输出，交叉表是临床试验编程中非常常见的一种表格的类型，实现起来的程序也还是比较简单的。
新生开学了，部分大学按照兴趣分配室友的新闻占据了头条，这其中涉及到机器学习算法的应用。此外，新生进入大学后，可能至少参加几个学生组织或社团。社团是根据学生的兴趣将它们分为不同的类别，那么如何定义这些类别，或者区分各个组织之间的差别呢？我敢肯定，如果你问过运营这些社团的人，他们肯定不会说他们的社团和其它的社团相同，但在某种程度上是相似的。比如，老乡会和高中同学会都有着同样的生活方式；足球俱乐部和羽毛球协会对运动有着相同的兴趣；科技创新协会和创业俱乐部有相近的的兴趣等。也许让你去衡量这些社团或组织所处理的事情或运行模式，你自己就可以确定哪些社团是自己感兴趣的。但有一种算法能够帮助你更好地做出决策，那就是k-Nearest Neighbors（NN）算法， 本文将使用学生社团来解释k-NN算法的一些概念，该算法可以说是最简单的机器学习算法，构建的模型仅包含存储的训练数据集。该算法对新数据点进行预测，就是在训练数据集中找到最接近的数据点——其“最近邻居”。
本文介绍了一种名为长短距离循环更新（LRRU）网络的轻量级深度网络框架，用于深度补全。深度补全是指从稀疏的距离测量估计密集的深度图的过程。现有的深度学习方法使用参数众多的大型网络进行深度补全，导致计算复杂度高，限制了实际应用的可能性。相比之下，本文提出的LRRU网络首先利用学习到的空间变体核将稀疏输入填充以获得初始深度图，然后通过迭代更新过程灵活地更新深度图。迭代更新过程是内容自适应的，可以从RGB图像和待更新的深度图中学习到核权重。初始深度图提供了粗糙但完整的场景深度信息，有助于减轻直接从稀疏数据回归密集深度的负担。实验证明，LRRU网络在减少计算复杂度的同时实现了最先进的性能，更适用于深度补全任务。
天天跟数据打交道的研究人员，都有一个成为Kaggle顶级大师（Grandmaster）的梦想。
脑解剖扫描预测的年龄和实际年龄之间的差异，如脑年龄增量，为非典型性衰老提供了一个指示。机器学习 (ML) 算法已被用于大脑年龄的估计，然而这些算法的性能，包括（1）数据集内的准确性， (2）跨数据集的泛化， (3）重新测试的可靠性，和（4）纵向一致性仍然没有确定可比较的标准。本研究评估了128个工作流程，其中包括来自灰质 (GM) 图像的16个特征和8个具有不同归纳偏差的ML算法。利用四个覆盖成人寿命的大型神经成像数据库进行分析 （总N=2953,18-88岁），显示了包含4.73—8.38年的数据集中平均绝对误差 (MAE ) ，其中32个广泛抽样的工作流显示了包含5.23—8.98年的交叉数据集的MAE。结果得到：前10个工作流程的重测信度和纵向一致性具有可比性。特征的选择和ML算法都影响了性能。具体来说，体素级特征空间 （平滑和重采样） ，有和没有主成分分析，非线性和基于核的ML算法表现良好。在数据集内和跨数据集内的预测之间，大脑年龄增量与行为测量的相关性不一致。在ADNI样本上应用表现最佳的工作流程显示，与健康对照组相比，阿尔茨海默病患者和轻度认知障碍患者的脑龄增量明显高于健康对照组。在存在年龄偏倚的情况下，患者的脑龄增量估计因用于偏倚校正的样本而不同。总之，大脑年龄具有一定应用前景，但还需要进一步的评估和改进。
随着技术的不断的发展，大数据领域对于海量数据的存储和处理的技术框架越来越多。在离线数据处理生态系统最具代表性的分布式处理引擎当属Hive和Spark，它们在分区策略方面有着一些相似之处，但也存在一些不同之处。
数据汇总是一个将原始数据简化为其主要成分或特征的过程，使其更容易理解、可视化和分析。本文介绍总结数据的七种重要方法，有助于理解数据实质的内容。
最近我们被客户要求撰写关于高维数据惩罚回归方法的研究报告，包括一些图形和统计输出。
通过检验数据集的数据质量、绘制图表、计算某些特征量等手段，对样本数据集的结构和规律进行分析的过程就是数据探索。
最近将学习的方式引入点云配准中取得了成功，但许多工作都侧重于学习特征描述符，并依赖于最近邻特征匹配和通过RANSAC进行离群值过滤，以获得姿态估计的最终对应集合。在这项工作中，我们推测注意机制可以取代显式特征匹配和RANSAC的作用，从而提出一个端到端的框架来直接预测最终的对应集。我们使用主要由自注意力和交叉注意力的transformer层组成的网络架构并对其训练，以预测每个点位于重叠区域的概率及其在其他点云中的相应位置。然后，可以直接根据预测的对应关系估计所需的刚性变换，而无需进一步的后处理。尽管简单，但我们的方法在3DMatch和ModelNet基准测试中取得了一流的性能。我们的源代码可以在https://github.com/yewzijian/RegTR.
Flume NG实时日志收集系统，支持在日志系统中定制各类数据发送方，用于收集数据，同时，对数据进行简单处理；
今天给大家介绍的是德州农工大学Xuxi Chen等人在ICML2020上发表的一篇名为“Self-PU: Self Boosted and Calibrated Positive-Unlabeled Training”的文章。许多现实世界的应用领域必须解决Positive-Unlabeled (PU) learning问题，即从大量的无标记数据和少数有标记的正示例中训练一个二分类器。虽然目前最先进的方法采用了重要性重加权来设计各种风险估计器，但它们忽略了模型本身的学习能力，而这本来可以提供可靠的监督。这促使作者提出了一种新型的Self-PU learning框架，该框架将PU learning与self-training无缝结合。self- PU learning包含了三个self导向的模块:自适应地发现和增强确信的正/负例子的self-paced训练算法; self-calibrated实例感知损失;以及一个引入教师-学生学习作为PU学习有效正则化的self-distillation方案。作者在通用PU learning基准(MNIST和CIFAR-10)上展示了Self-PU的最先进性能，与最新的竞争对手相比具有优势。此外，还研究了PU学习在现实世界中的应用，即对阿尔茨海默病的脑图像进行分类。与现有方法相比，Self-PU在著名的阿尔茨海默病神经成像(ADNI)数据库上获得了显著改进的结果。
PySpark RDD 转换操作(Transformation) 是惰性求值，用于将一个 RDD 转换/更新为另一个。由于RDD本质上是不可变的，转换操作总是创建一个或多个新的RDD而不更新现有的RDD，因此，一系列RDD转换创建了一个RDD谱系（依赖图）。
错误率(error rate)：分类错误的样本占样本总数的比例 精度(accuracy)：1 - 错误率误差(error)：学习器的实际预测输出与样本的真实输出之间的差异 错误率和精度相反 (错误率+精度=1) 训练误差(training error)(即经验误差(empirical error))：学习器在训练集上的误差 泛化误差(generalization error)：在新样本（即测试样本）上的误差
导读：人工智能的快速发展，带动了相关技术的繁荣。近些年，国内外的科技公司对机器学习人才都有大量需求。怎样入行机器学习？本文带你从0开始学起。
标题：Persistent Homology based Graph Convolution Network forFine-grained 3D Shape Segmentation
摘要：行为识别是当前计算机视觉方向中视频理解领域的重要研究课题。从视频中准确提取人体动作的特征并识别动作，能为医疗、安防等领域提供重要的信息，是一个十分具有前景的方向。
之前的方法是基于用户已经看过一些电影，买过一些商品并且进行了评分，因此具备该用户信息，以便推荐
R语言 控制流：for、while、ifelse和自定义函数function|第5讲
华为诺亚方舟实验室联合北京大学和悉尼大学发布论文《DAFL：Data-Free Learning of Student Networks》，提出了在无数据情况下的网络蒸馏方法（DAFL），比之前的最好算法在 MNIST 上提升了 6 个百分点，并且使用 resnet18 在 CIFAR-10 和 100 上分别达到了 92% 和 74% 的准确率（无需训练数据），该论文已被 ICCV2019 接收。
在数据分析中，数据的选择和运算是非常重要的步骤。数据选择和运算是数据分析中的基础工作，正确和高效的选择和运算方法对于数据分析结果的准确性和速度至关重要。
Spark中，数据集被抽象为分布式弹性数据集（Resilient Distributed Datasets, RDDs）。
在本文中，我们将使用基因表达数据。这个数据集包含120个样本的200个基因的基因表达数据。这些数据来源于哺乳动物眼组织样本的微阵列实验。
机器之心报道 编辑：赵阳 Unlimiformer 可以被注入到任何现有的编码器 - 解码器 transformer 中，能够处理长度不限的输入。 Transformer 是时下最强大的 seq2seq 架构。预训练 transformer 通常具有 512（例如 BERT）或 1024 个（例如 BART）token 的个上下文窗口，这对于目前许多文本摘要数据集（XSum、CNN/DM）来说是足够长的。 但 16384 并不是生成所需上下文长度的上限：涉及长篇叙事的任务，如书籍摘要（Krys-´cinsk
与自然影像数据集不同，遥感影像中的目标通常以任意角度出现，如图 1所示。自然影像常用的水平框目标检测方法，在遥感影像上的效果通常不够理想。一方面，细长类目的待检测目标（比如船舶、卡车等），使得水平框检测的后处理很困难（因为相邻目标的水平框的重合度很高）。另一方面，因为目标的角度多变，水平框不可避免引入过多的背景信息。针对这些问题，遥感目标检测更倾向于检测目标的最小外接矩形框，即旋转目标检测。旋转目标检测最近因其在不同场景中的重要应用而受到越来越多的关注，包括航空图像、场景文本和人脸等。特别是在航空图像中，已经提出了许多设计良好的旋转目标检测器，并在大型数据集上（比如 DOTA-V1.0）获得了较好的结果. 与自然图像相比，航拍图像中的物体通常呈现密集分布、大纵横比和任意方向。这些特点使得现有的旋转对象检测器变得复杂。我们的工作重点是简化旋转对象检测，消除对复杂手工组件的需求，包括但不限于基于规则的训练目标分配、旋转 RoI 生成、旋转非最大值抑制 (NMS) 和旋转 RoI 特征提取器。
机器之心专栏 作者：蚂蚁集团-大安全-数字身份及安全生态、浙江大学 来自浙江大学和蚂蚁集团 - 大安全 - 数字身份及安全生态的研究者提出了一种基于标签关系树的层级残差多粒度分类网络 HRN。 基于有监督式深度学习的图像识别任务中一个方面要求是构建整理大规模、高质量的标注数据，这就对图像质量和标注人员的背景知识有比较高的要求。例如，在细粒度分类任务中，标注人员需要依赖大量的领域知识去区分各种种类的鸟以及不同型号的舰船，如图 1 所示。 图 1: 不同种类的信天翁以及不同型号的航母 在图 1 中，标注人员需
机器之心专栏 作者：奇虎360人工智能研究院和清华大学 对于中文社区来说，本文提出的大规模跨模态基准数据集无疑很有价值 视觉语言预训练（VLP）主要学习视觉与自然语言之间的语义对应关系。得益于海量数据、Transformer 等优秀架构、CLIP 等跨模态模型以及硬件设备的支持，一系列开创性的工作探索了 VLP 模型，并在各种视觉语言任务上取得了显著进展。 借助大规模训练语料库（主要是英语），众多 VLP 模型已被证明对下游任务有益。然而中文视觉语言数据集很少，并且存在各种局限性。针对大规模预训练模型加下游
来源：人工智能大讲堂本文约2600字，建议阅读9分钟本文带你了解了缺失值、缺失值的原因、模式以及如何使用 KNNImputer 来估算缺失值。 KNN和随机森林一样，给人的第一印象就是用于分类和回归，既然大家已经看到随机森林能够进行数据降维，那么也就没必要惊讶于今天的话题：knn缺失值填补。 概述 学习使用 KNNimputer 来估算数据中的缺失值； 了解缺失值及其类型。 介绍 scikit-learn 的 KNNImputer 是一种广泛使用的估算缺失值的方法。它被广泛视为传统插补技术的替代品。 在当今
一、分类方法简介 1. 分类的概念 数据挖掘中分类的目的是学会一个分类函数或分类模型（也常常被称作分类器），该模型能把数据库中的数据项映射到给定类别中的某一个。分类可描述如下：输入数据
Deep Learning Recommendation Model for Personalization and Recommendation Systems
假设这样一种情况，你对一个样本不均匀的数据集做了一段时间的处理，在这期间你用其中一部分数据做试验，测试了n种机器学习方法，然后喜闻乐见的发现每次的准确率都高达95%。你觉得这95%的准确率真的是实至名归吗？
本次分享的是PLOS Computational Biology于2021年8月4日刊登的文章《Deep geometric representations for modeling effects of mutations on protein-protein binding affinity》，作者是来自分别来自清华大学的Xianggen Liu，Pengyong Li, Sen Song和伊利诺伊大学厄巴纳-香槟分校的Yunan Luo以及彭健。在这次的研究中，作者团队开发了一个名为GeoPPI的深度学习框架。基于蛋白质的三维结构，GeoPPI首先通过自监督学习方案学习编码蛋白质结构拓扑特征的几何表示，然后将这些表示用作训练梯度增强树的特征，以预测突变后蛋白质-蛋白质结合亲和力的变化。
本文将会讲述 BI/DW/DA 领域的一些常见概念，如：事实表、维度表、建模、多维分析、cube 等，但不涉及具体实例分析。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
