首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

R语言第二章数据处理⑤数据框列的转化和计算目录正文

正文 本篇描述了如何计算R中的数据框并将其添加到数据框中。一般使用dplyr R包中以下R函数: Mutate():计算新变量并将其添加到数据表中。 它保留了现有的变量。...同时还有mutate()和transmutate()的三个变体来一次修改多个列: Mutate_all()/ transmutate_all():将函数应用于数据框中的每个列。...Mutate_at()/ transmutate_at():将函数应用于使用字符向量选择的特定列 Mutate_if()/ transmutate_if():将函数应用于使用返回TRUE的谓词函数选择的列...函数mutate_all()/ transmutate_all(),mutate_at()/ transmutate_at()和mutate_if()/ transmutate_if()可用于一次修改多个列...tbl:一个tbl数据框 funs:由funs()生成的函数调用列表,或函数名称的字符向量,或简称为函数。predicate:要应用于列或逻辑向量的谓词函数。

4.2K20

Fama French (FF) 三因子模型和CAPM模型分析股票市场投资组合风险收益可视化

在计算该投资组合的 beta 之前,我们需要找到投资组合的月收益率。...使用tempfile() 基础 R 中的 函数来创建一个名为 temp. 这是我们将放置压缩文件的地方。 temp <- tempfile() R 创建了一个名为的临时文件 temp 。...vars()函数的操作与select()函数类似,我们可以通过在date前面加一个负号来告诉它对所有列进行操作,除了date列。...我们可以使用该 lubridate 包将该日期字符串解析为更好的日期格式。我们将使用该 parse_date_time() 函数,并调用该 ymd() 函数以确保最终结果为日期格式。...因此,市场因素在该模型中占主导地位,而其他两个因素的置信区间为零。 ---- 本文摘选《R语言Fama French (FF) 三因子模型和CAPM多因素扩展模型分析股票市场投资组合风险/收益可视化》

3.9K30
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    RRC detection、CornerNet、M2Det、FOCS…你都掌握了吗?一文总结目标检测必备经典模型(三)

    在SSD中使用多尺度特征图可以在数学上定义如下: 这里Φ_n表示feature map中的层n,fn(·)是在feature map中将第(n-1)层转换为第n层的非线性块。...然后,可以根据左上角和右下角嵌入之间的距离对角点进行分组。嵌入的实际值并不重要,我们仅使用嵌入之间的距离来对角点进行分组。论文使用 1 维嵌入,e_tk表示角点k的左上的嵌入,e_bk表示右下的嵌入。...首先,在每个特征图的每个位置上计算回归目标值 t^* = (l^* , t^* , r^* , b^* );接着,如果某个位置的结果满足max(l^* , t^* , r^* , b^*)>m_i或 max...下面的公式展示了 centerness 真值的计算方法,loss 使用的是二值交叉熵损失函数。...与现有的Anchor-based和Anchor-free的检测器相比,原有方法在标签分配中更偏向于特定的目标尺度,ObjectBox仅使用目标中心位置作为正样本,并在不同的特征级别平等对待所有目标,而不管物体的大小或形状

    1.1K30

    数据处理第2节:将列转换为正确的形状

    转换列:基础部分 您可以使用mutate()函数创建新列。 mutate中的选项几乎是无穷无尽的:你可以对普通向量做任何事情,可以在mutate()函数内完成。...这些函数本质上需要总结一个列(如上所示),如果你想在列之间使用sum()或mean(),你可能会遇到错误或荒谬的答案。...mutate_at(),我们在管道中需要两个参数: 首先,它需要有关列的信息。...在这种情况下,您可以包装任何列的选择(使用select()函数内可能的所有选项)并将其包装在vars()中。 其次,它需要以函数形式的变异指令。 如果需要,请使用代字号或funs()之前(见上文)。...如果我想在几分钟内完成,我可以使用mutate_at()并将包含列的所有'sleep'包装在vars()中。 其次,我在飞行中创建一个函数,将每个值乘以60。

    8.1K30

    「R」dplyr 列式计算

    ❝在近期使用 「dplyr」 进行多列选择性操作,如 mutate_at() 时,发现文档提示一系列的 「dplyr」 函数变体已经过期,看来后续要退休了,使用 across() 是它们的统一替代品,所以最近抽时间针对性的学习和翻译下...summarise(across(a:d, mean)) 我们将从讨论 across() 的基本用法开始,特别是将其应用于 summarise() 中和展示如何联合多个函数使用它。...你可以通过对第二个参数传入一个函数(包括 lambda 函数)的命名列表来对每个变量同时执行多个函数操作。..._if, _at, _all 「dplyr」 以前的版本允许以不同的方式将函数应用到多个列:使用带有_if、_at和_all后缀的函数。这些功能解决了迫切的需求而被许多人使用,但现在被取代了。...这是由 base R 提供的,但它并没有很好的文档,我们花了一段时间才发现它是有用的,而不仅仅是理论上的好奇。 我们可以使用数据框让汇总函数返回多列。

    2.4K10

    理解Spatial Transformer Networks

    对于计算机视觉任务来说,我们希望模型可以对于物体姿势或位置的变化具有一定的不变性,从而在不同场景下实现对于物体的分析。...我们可以看到,通过max函数选择与输出(xis ,yis )距离小于1的像素位置,距离(xis ,yis)越近的点被分配了越高的权重,实现了使用(xis ,yis)周围四个点的score计算最终score...(2) STN模块同样使得网络在训练过程中学习到如何通过空间变换来减少损失函数,使得模型的损失函数有着可观的减少。...(5) 同一个网络结构中,不同的网络位置均可以插入STN模块,从而实现对与不同feature map的空间变换。...(6) 同一个网络层中也可以插入多个STN来对于多个物体进行不同的空间变换,但这同样也是STN的一个问题:由于STN中包含crop的功能,所以往往同一个STN模块仅用于检测单个物体并会对其他信息进行剔除

    65250

    机器学习-07-分类回归和聚类算法评估函数

    通过计算预测值和真实值之间的距离的绝对值的均值,来衡量预测值与真实值之间的真实距离。 MSE(Mean Square Error) MSE是真实值与预测值的差值的平方然后求和平均。...内部指标(无监督数据,利用样本数据与聚类中心之间的距离评价): 紧密度(Compactness) 每个聚类簇中的样本点到聚类中心的平均距离。...举例:在二元分类问题中,常用的损失函数包括逻辑回归的对数损失(Log Loss, Binary Cross-Entropy Loss),它量化了模型预测的概率分布与实际标签之间的距离。...代价函数(Cost Function): 在机器学习中,特别是在监督学习场景下,代价函数指的是在整个训练集上的损失函数的平均值,即所有样本损失之和的平均,用来衡量模型在所有训练数据上的整体表现。...在不同的文献和上下文中,有时人们会互换使用“代价函数”和“损失函数”的说法,尤其是在只考虑训练误差而不涉及正则化时。

    26010

    Unified-IoU:用于高质量对象检测

    ,每个边界框的位置信息可以定义为一个四维向量: 其中,可以理解为像素位置与边界框的上、下、左、右边界之间的距离。...损失可以计算为: 其中,表示预测框的四维向量,表示真实框的四维向量。损失对多个特征进行了归一化,结果都在0和1之间。然而,四维向量中的四个变量是相互独立的,忽略了边界之间的相关性。...多个数据集上的一致且显著的改进证明了我们的新UIoU损失函数的潜力。 本文的主要贡献如下: 我们设计了一种新方法,在模型训练过程中动态地为不同质量的锚框分配权重。...通常使用中心距离或IoU值来定义锚框的质量和权重因子,但有时这是错误的,如图1所示。...在训练过程中,我们使用超参数“比例”来调整模型对不同质量预测框的关注程度,从而在训练速度和高质量对象检测之间达到平衡。

    14010

    目标检测中的Anchor-free回顾

    1.1 边界框的表示形式 一般目标检测的边界框使用(x,y,x,y) 和 (x,y,w,h) 之类的坐标表示,但FCOS是不同的,FCOS是从一个点开始,然后使用该点与ground truth之间的垂直和水平距离...(3)Center-ness loss 由于中心度的大小在0–1之间,因此在训练的时候使用BCE loss将其加入到训练中。...1.4 小节 FCOS是从一个点开始,然后使用该点与ground truth之间的垂直和水平距离(l,t,r,b)来表示边界框的,并通过引入层、区域、中心确定正负样本的分配。...令中心点为 p,其计算方式为,对于经过网络下采样后的坐标,设为(R 为输出对应原图的步长,本文中R为4),然后将GT坐标通过高斯核分布到热图上,高斯核的计算公式如下: ?...在目标检测中,中心点附近的点其实都非常相似,如果直接将这些点标为负样本,会给网络的训练带来困扰;如果将其用高斯函数做一个“软化”,网络就会更好收敛。

    1.3K10

    MMDetection学习系列(2)——SSD深度探索与实战指南

    目标检测是计算机视觉领域的一个重要任务,它旨在从图像中识别出感兴趣的目标,并确定它们的位置和大小。...相对于需要物体提案的方法,SSD非常简单,因为它完全省去了提案生成和后续的像素或特征重采样阶段,并将所有计算封装在一个网络中。这使得SSD易于训练,并可直接集成到需要检测组件的系统中。...它完全消除了提议生成和后续的像素或特征重采样阶段,将所有计算封装在单个网络中。这使得SSD易于训练,并且可以直接集成到需要对象检测组件的系统中。...位置损失:用Smooth L1损失来表示,位置计算时,使用预设框d距离中心(cx, cy)的相对距离(相对预设框的宽w高h),其中l表示标注框,g表示预设框,d^w、d^h表示预设框的宽和高。...在SSD中其提出了:使用原始图片输入;采样部分,使得采样的部分与目标的最小交叠比为0.1,0.3,0.5,0.7或0.9;随机采样图中的一部分。

    10310

    几道和散列(哈希)表有关的面试题

    也就是说,它通过计算一个关于键值的函数,将所需查询的数据映射到表中一个位置来访问记录,这加快了查找速度。这个映射函数称做散列函数,存放记录的数组称做散列表。...只不过这里使用的是 map 。...遍历 num1,通过 map 容器 record 存储 num1 的元素与频率; 遍历 num2 ,在 record 中查找是否有相同的元素(该元素的存储频率大于 0 ),如果有,用 map 容器resultVector...题目描述 给定平面上 n 对不同的点,“回旋镖” 是由点表示的元组 (i, j, k) ,其中 i 和 j 之间的距离和 i 和 k 之间的距离相等(需要考虑元组的顺序)。 找到所有回旋镖的数量。...把 A 和 B 的两两之和都求出来,在哈希表中建立两数之和与其出现次数之间的映射; 遍历 C 和 D 中任意两个数之和,只要看哈希表存不存在这两数之和的相反数就行了。

    1.4K20

    Redis高级篇之GEO搜索最近地铁口

    例如滴滴打车,最直观的操作就是实时记录更新各个车的位置,然后当我们要找车时,在数据库中查找距离我们(坐标x0,y0)附近r公里范围内部的车辆使用如下SQL即可:select taxi from position...经纬度是一种常用的地理坐标系统,它使用经度和纬度来表示地球上的位置。在GEO数据结构中,经度和纬度被编码为一个64位的整数,以便进行高效的计算和比较。...距离计算GEO数据结构使用Haversine公式来计算两个地理位置之间的距离。Haversine公式是一种常用的距离计算方法,它可以计算地球上两点之间的距离,考虑到地球的曲率。...在GEO数据结构中,Haversine公式被用于计算两个地理位置之间的距离,以便进行搜索和排序。搜索算法GEO数据结构使用了一种基于跳表的搜索算法来实现高效的地理位置搜索。...desc在上述命令中,我们使用GEOPOS命令查找距离给定位置(三溪站)1公里以内的地铁口。

    59732

    Backbone | 谷歌提出LambdaNetworks:无需注意力让网络更快更强(文末获取论文源码)

    对可以指结构化元素之间的任何成对关系,例如图中像素之间的相对距离或节点之间边的相对距离。 interactions 这里使用映射函数 和给定的Context C 将query 映射输出向量 。...由于Context位置 的数量越来越大,而输入和输出维度 和 保持不变,假设层输出是一个相对小维度的向量 ,则可以假设计算Attention Map是没必要的。...在attention操作中使用多个query增加了表征能力和复杂性。相反,在lambda层中使用多个query降低了复杂性和表示能力(忽略额外的query)。...在实践中,定义了一个张量的相对位置嵌入 , index r为可能的相对位置 对。 4.4 Lambda卷积 尽管远距离相互作用有诸多好处,但在许多任务中,局部性仍然是一种强烈的感应偏向。...n维的lambda卷积可以使用n-d与channel乘法器的深度卷积或 卷积来实现,将 维中的 维视为额外的空间维。

    1.3K30

    ECCV2020 | 将投票机制引入自下而上目标检测,整合局部和全局信息

    使用log-polar vote field的目的是随着投票者位置和目标区域之间的距离增加而降低投票的空间精度。...目前最先进的物体检测器依靠局部(或短距离)的visual evidence(如自上而下的方法)或重要的关键点如角点(如自下而上的方法)来决定该位置是否有物体。...在实验中,使用了不同的vote ∆r(i)表示第i个像素的相对空间坐标。...将投票字段放置在以位置(i,j)为中心的2D地图上时,区域标记要投票的目标区域,可通过将坐标偏移量∆r(·)加到(i,j)来计算其坐标。...损失函数:为了优化visual evidence分支,使用了在CornerNet 中引入的修改后的Focal loss。

    73330

    YoloV8改进策略:IoU改进|Unified-IoU用于高质量对象检测

    ,每个边界框的位置信息可以定义为一个四维向量: 其中,可以理解为像素位置与边界框的上、下、左、右边界之间的距离。...损失可以计算为: 其中,表示预测框的四维向量,表示真实框的四维向量。损失对多个特征进行了归一化,结果都在0和1之间。然而,四维向量中的四个变量是相互独立的,忽略了边界之间的相关性。...通常使用中心距离或IoU值来定义锚框的质量和权重因子,但有时这是错误的,如图1所示。...当放大边界框时,其IoU值会增加,计算出的框损失会降低。 这种IoU的变化也与IoU本身的值有关。如图3所示,我们绘制了在中心点距离从20变化到0的过程中,、和的变化曲线。...在训练过程中,我们使用超参数“比例”来调整模型对不同质量预测框的关注程度,从而在训练速度和高质量对象检测之间达到平衡。

    29610

    在单机上快速、精确的100000类别的检测

    在实际中,最耗时的是convolution过程,每个物体分类器的filter(对应weight)都需要和候选位置的特征进行一次点积处理,假定候选窗口数目为W个,候选窗口的feature dimension...由于计算两个hash之间的hamming距离非常快速(还可以查表),因此最耗时的部分在计算每个窗口的feature以及计算hash值上,这个运算和类别数目无关。...对比可以看到,由于改进算法中,计算hamming距离的部分非常快,可以忽略,因此,最终得到的多类检测器的运算量和类别数目无关。...进一步,为了快速运算,可以将上述的hamming距离计算转换为查表运算,为了当累积相似度高于阈值时无需继续计算,将hash值划分为多个不同部分(这样每个表也比较小)。...---- 之前有提及框架的缺点,现在说说其缺点所在: 因为是在单机上进行类别检测,所以速度不是很理想,单机处理一张图像的速度需要20s,而且1000000类的mAP是0.16,从数据上看是很理想,但是距离实用性还有很长的距离

    80060

    DCF:立体视觉的视差计算系统

    首发地址:DCF:立体视觉的视差计算系统 视差图是立体视觉系统的重要组成部分,因为它们会对两个或多个图像的位移进行编码。...在立体视图中,相机通常同时记录来自不同视点的图像[1,2]。尽管相机记录了相同的场景,但它们位于先前配置的位移裕度(displacement margin)或无限制配置的不同位置[3]。...视差计算旨在测量相机之间像素的位移[8]。移动较少的像素具有较小的视差值。另一方面,当可以在非相邻位置处观察到像素移动时,出现较大的视差值。该测量是根据一个或多个目标图像与参考图像的坐标来计算的。...顾名思义,参考图像是观察像素位移的起点。 视差信息表示着场景中的元素到参考相机的接近度或距离。视差也被视为逆深度,因为视差值与深度成反比[9,10]。...表1给出了已经在DCF中实现的视差计算方法、成本函数和视差图细化方法。 最后,DCF中存在的算法可以被参数化,或者使用先前定义的配置来执行。

    83220

    DCF:立体视觉的视差计算系统

    在立体视图中,相机通常同时记录来自不同视点的图像[1,2]。尽管相机记录了相同的场景,但它们位于先前配置的位移裕度(displacement margin)或无限制配置的不同位置[3]。...视差计算旨在测量相机之间像素的位移[8]。移动较少的像素具有较小的视差值。另一方面,当可以在非相邻位置处观察到像素移动时,出现较大的视差值。该测量是根据一个或多个目标图像与参考图像的坐标来计算的。...顾名思义,参考图像是观察像素位移的起点。 视差信息表示着场景中的元素到参考相机的接近度或距离。视差也被视为逆深度,因为视差值与深度成反比[9,10]。...表1给出了已经在DCF中实现的视差计算方法、成本函数和视差图细化方法。 最后,DCF中存在的算法可以被参数化,或者使用先前定义的配置来执行。...DCF调用是通过脚本进行的,在脚本中,从参数定义到函数调用,命令都是按顺序显示的。从这个意义上说,DCF中存在的所有功能都可以在多种配置中访问、参数化和执行。

    21920

    FCOS升级 | FCOS在3D检测中应该如何使用呢?FCOS3D就是最好的验证

    在2D情况下,模型需要回归点到顶部/底部/左侧/右侧的距离,如图1中的 t、b、l、r 所示。然而,在3D情况下,将距离回归到3D边界框的6个面是非常重要的。...形式上,它首先计算每个特征上每个位置的2D回归目标 l*、r*、t*、b* 。...距离中心小于 r×stride 的点将被视为正样本,其他均为负样本,这里在实验中 r 设置为1.5。 最后,将不同回归分支的每个输出 x 替换为6个,以区分不同Level的特征共享头。...ATE是二维欧几里得中心距离(m)。ASE等于1−IOU,IOU是在对齐其平移和方向后在预测和标签之间计算的。AOE是预测和标签之间的最小偏航角差(弧度)。...可以看出,在前期过程中,将深度转换回原始空间以计算损失是提高mAP的重要因素,而基于距离的目标分配是提高整体NDS的重要因素。

    2.8K10

    北航提出 Unified-loU,用于高品质目标检测的统一loU !

    损失可以计算为: 损失= 其中,表示预测框的四维向量,表示真实框的四维向量。损失归一化了一系列特征,结果都在0和1之间。然而,这四个变量在四维向量中是相互独立的,边界之间的关系被忽略。...在多个数据集上出现的一致和显著的改进证明了作者的新UIoU损失函数的潜力。 (注:原文中省略了“等”。) 设计了一种新颖的方法,在模型训练过程中动态地为不同的质量 Anchor 框分配权重。...通常使用中心距离或IoU值来定义 Anchor 框质量以及权重因子,但有时这种做法是错误的,如图1所示。...尤其是,作者在原YOLO的边界回归损失函数的代码中保留了GIoU, DIoU, CIoU等计算方法,可以简单地切换损失函数的计算方法,方便后续的研究行人进行比较实验或进一步改进实验。...在训练过程中,作者使用超参数"比例"来调整模型对不同质量预测框的关注度,以实现训练速度与高精度检测物体之间的平衡。

    32910
    领券