首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
社区首页 >问答首页 >基于大栅格数据集的像素级回归

基于大栅格数据集的像素级回归
EN

Stack Overflow用户
提问于 2016-05-25 22:16:11
回答 1查看 899关注 0票数 2

我试图拟合一个glm模型,其中y, x1 + x2....xnrasterStack对象中的层。我尝试将光栅堆栈转换为dataframe对象,但得到了一个向量大小错误,如下所示。相反,我想尝试用光栅层作为输入来拟合回归模型,而不必在文件大小和内存错误的情况下将这些层转换成数据帧。这是可能的吗?你将如何配置它?

我想用行来拟合的模型是自然的:m1<-glm(y1~x1 + x2, family=binomial(), data=layers),但是我没有谈到这一点,因为我不能将数据转换成一个数据来进行模型拟合。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
dat<-as.data.frame(stack(layers[c(y1,x1,x2)]))
Error: cannot allocate vector of size 40GB
EN

回答 1

Stack Overflow用户

发布于 2016-05-30 10:16:27

下面是使用Raster* data (来自?calc)的一些回归示例:

创建示例数据

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
r <- raster(nrow=10, ncol=10)
s1 <- lapply(1:12, function(i) setValues(r, rnorm(ncell(r), i, 3)))
s2 <- lapply(1:12, function(i) setValues(r, rnorm(ncell(r), i, 3)))
s1 <- stack(s1)
s2 <- stack(s2)

将一砖(或一叠)中的值与另一砖(或堆叠)中的值回归

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
s <- stack(s1, s2)
# s1 and s2 have 12 layers; coefficients[2] is the slope
fun <- function(x) { lm(x[1:12] ~ x[13:24])$coefficients[2] }
x1 <- calc(s, fun)

用“时间”对一块砖(或堆栈)中的值进行回归

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
time <- 1:nlayers(s)
fun <- function(x) { lm(x ~ time)$coefficients[2] }
x2 <- calc(s, fun)

获取多个层,例如斜率和拦截

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
fun <- function(x) { lm(x ~ time)$coefficients }
x3 <- calc(s, fun)

在某些情况下,一种更快(超过100倍)的方法是直接使用线性代数并预先计算一些常数。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
# add 1 for a model with an intercept
X <- cbind(1, time)

# pre-computing constant part of least squares
invXtX <- solve(t(X) %*% X) %*% t(X)

## much reduced regression model; [2] is to get the slope
quickfun <- function(y) (invXtX %*% y)[2]
x4 <- calc(s, quickfun) 
票数 2
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/37452955

复制
相关文章
DynamicHead:基于像素级路由机制的动态FPN | NIPS 2020
论文: Fine-Grained Dynamic Head for Object Detection
VincentLee
2022/06/14
4010
DynamicHead:基于像素级路由机制的动态FPN | NIPS 2020
GDAL获取栅格数据各个像素对应的经纬度(Python版)
这里要使用的一个比较重要的函数是GetGeoTransform函数,GDAL官网的API中对GetGeoTransform的解释如下: CPLErr GDALDataset::GetGeoTransform ( double * padfTransform ) virtual Fetch the affine transformation coefficients.
卡尔曼和玻尔兹曼谁曼
2019/01/22
5.8K0
基于屏幕像素抖动的PCF
PCF无非就是把周围的像素加吧加吧, 然后取个平均值. 结果的平滑程度, 跟Kernel的大小有直接关系.
逍遥剑客
2019/02/20
9780
大栅格数据如何更快运算
这两周我在使用python进行大量的栅格数据的运算,在运算过程中遇到了数据量超级大但算力不足的问题。通过这两周的探索,也慢慢找到了一些加快栅格数据计算的方法,和读者分享。
自学气象人
2023/06/21
3730
大栅格数据如何更快运算
Harris 像素级角点检测
在现实世界中,角点对应于物体的拐角,道路的十字路口、丁字路口等。从图像分析的角度来定义角点可以有以下两种定义:
为为为什么
2023/04/12
8930
Harris 像素级角点检测
像素级压缩感知图像融合的论文
2012 基于压缩感知理论的图像融合方法 不同的是在测量前先对稀疏矩阵进行融合,从仿真结果来看效果并不是很好,仅做介绍。 2012 一种基于小波稀疏基的压缩感知图像融合算法 针对图像小波分解系数特点,
闪电gogogo
2018/04/02
1K0
像素级压缩感知图像融合的论文
小米回归1亿像素怀抱,高像素只是当下厂商的自我狂欢?
网友爆料小米10T Pro搭载有1.08亿像素主摄,再次回归一亿像素怀抱。相比之下,搭载有绝版麒麟9000芯片的华为Mate 40蓄势待发,或将配备5000万像素主摄,而苹果手机的摄像头一直维持在1200万像素。
镁客网
2020/09/08
3710
深度学习图像中的像素级语义识别
(1) 基于对象的场景分类: 这种分类方法以对象为识别单位,根据场景中出现的特定对象来区分不同的场景; 基于视觉的场景分类方法大部分都是以对象为单位的,也就是说,通过识别一些有 代表性的对象来确定自然界的位置。典型的基于对象的场景分类方法有以下的中间步骤:
大数据技术与机器学习
2019/11/20
2K0
wx-caman——基于 CamanJS 的微信小程序 Canvas 像素级滤镜处理库
做这个项目的初衷是希望能够开发一款不依赖服务端而纯通过客户端渲染为图片添加滤镜的小程序。但是由于微信小程序中的 canvas 组件与 DOM Canvas 元素有较大差异,因此传统的 Canvas 处理库几乎无法在小程序中使用。在调研了一些传统浏览器端的项目后,我发现 CamanJS 的功能比较完善,同时也比较容易对微信小程序进行适配。在阅读完毕 CamanJS 源码(顺便学习了一下 CoffeeScript)以及学习了小程序的 canvas 组件的条条框框之后,wx-caman 就诞生了。wx-caman 由 CamanJS 封装而来,基于 ES6 进行了重写,并针对微信小程序进行了适配。其使用基本与 CamanJS 保持一致,同时剔除了无关功能,能够对小程序中的 canvas 进行像素级别的图像滤镜处理。
逆葵
2019/04/25
1.2K0
为什么像素级是图像标注的未来?
在这篇文章中,我将分享一些与我在博士研究期间积累的图像注释相关的想法。 具体来说,我将讨论当前最先进的注释方法,它们的趋势和未来方向。 最后,我将简要介绍我们正在构建的注释软件,并对我们的公司进行一些简单叙述。
AI研习社
2019/06/03
1.1K0
为什么像素级是图像标注的未来?
在这篇文章中,我将分享一些与我在博士研究期间积累的图像注释相关的想法。 具体来说,我将讨论当前最先进的注释方法,它们的趋势和未来方向。 最后,我将简要介绍我们正在构建的注释软件,并对我们的公司进行一些简单叙述。
磐创AI
2019/06/03
8160
基于Python的OpenCV有关像素的操作
·numpy.array(object,dtype,copy,order,subok,ndmin)
常温阔乐
2022/12/14
2K1
OpenCV中高效的像素遍历方法,写出工程级像素遍历代码
初次接触OpenCV的开发者,必须过的第一道坎就是学会如何遍历访问Mat对象中每个像素,实现像素级别的图像操作,这个是最级别的编程技能,但是不同的像素遍历方法效率有云泥之别,相差特别大,甚至可能成为算法运行的瓶颈之一,因此找到一种速度快的遍历方法对大图像处理是很关键的。在开始寻找高效遍历方法之前,先来了解一下Mat对象的数据组织形式与像素块数据的存储方式,Mat对象由两个部分组成,元数据头部加像素数据块部分,图示如下:
OpenCV学堂
2019/07/05
5.4K1
全卷积网络:从图像级理解到像素级理解
卷积神经网络(CNN):图像级语义理解的利器 自2012年AlexNet提出并刷新了当年ImageNet物体分类竞赛的世界纪录以来,CNN在物体分类、人脸识别、图像检索等方面已经取得了令人瞩目的成就。通常CNN网络在卷积层之后会接上若干个全连接层, 将卷积层产生的特征图(feature map)映射成一个固定长度的特征向量。 以AlexNet为代表的经典CNN结构适合于图像级的分类和回归任务,因为它们最后都期望得到整个输入图像的一个数值描述, 比如AlexNet的ImageNet模型输出一个1000
智能算法
2018/04/02
2.1K0
全卷积网络:从图像级理解到像素级理解
基于正则化的回归:岭回归和套索回归
在多元线性回归中,多个变量之间可能存在多重共线性,所谓多重,就是一个变量与多个变量之间都存在线性相关。首先来看下多重共线性对回归模型的影响,假设一下回归模型
生信修炼手册
2021/02/09
1.3K0
地理加权回归模型_arcgis栅格数据归一化0到1
实际上要说起来,GWR有专门的软件,叫做GWR,但是这个软件暂时我还没有用过,所以等我先学习一下,把他放到最后才说了,先用比较熟悉的,比如ArcGIS、比如R语言,这些来讲讲(还有一个我非常熟悉的软件是GEODA,可惜GEODA仅支持回归分析,不支持地理加权回归)。
全栈程序员站长
2022/11/10
1.4K0
地理加权回归模型_arcgis栅格数据归一化0到1
基于Python改变图片像素大小
用python改变图片像素大小非常快速,编辑好代码运行程序不到1秒就产生结果。 有的网站上传照片时,限定了照片像素大小,这时候小小一份代码就可以快速解决我们的需求。 下面代码需要修改main函数中的file_in、width、height、file_out这4个变量。 其中file_in、file_out是字符串str类型,width、height是整数int类型。 运行代码前要安装图像处理库pillow,安装命令:pip install pillow 代码如下:
潇洒坤
2018/09/10
2.9K0
用 TensorFlow 实现物体检测的像素级分类
雷锋网 AI 科技评论按:本文作者 Priyanka Kochhar 从事数据科学十多年,现在在运营一家深度学习咨询公司,她曾帮助多家创业公司完成人工智能解决方案的计划和部署,如果有兴趣与她合作,请联系 priya.toronto3@gmail.com。 最近,TensorFlow 的「物体检测 API」有了一个新功能,它能根据目标对象的像素位置来确定该对象的像素。换句话来说,TensorFlow 的物体检测从原来的图像级别成功上升到了像素级别。 使用 TensorFlow 的「物体检测 API」图片中的物
朱晓霞
2018/04/19
1.2K0
用 TensorFlow 实现物体检测的像素级分类
用 TensorFlow 实现物体检测的像素级分类
雷锋网 AI 科技评论按:本文作者 Priyanka Kochhar 从事数据科学十多年,现在在运营一家深度学习咨询公司,她曾帮助多家创业公司完成人工智能解决方案的计划和部署,如果有兴趣与她合作,请联系 priya.toronto3@gmail.com。
AI研习社
2018/07/26
8640
用 TensorFlow 实现物体检测的像素级分类
Android粒子篇之Bitmap像素级操作
零、前言 1.粒子效果的核心有三个点:收集粒子、更改粒子、显示粒子 2.Bitmap的可以获取像素,从而得到每个像素的颜色值 3.可以通过粒子拼合一张图片,并对粒子操作完成很多意想不到的效果 4.本项目源码见文尾捷文规范第一条,文件为BitmapSplitView.java ---- 一、初识 1.什么是Bitmap像素级的操作: 相信大家都知道一张jpg或png放大后会是一个个小格子,称为一个像素(px),而且一个小格子是一种颜色 也就是一张jpg或png图片就是很多颜色的合集,而这些合集
张风捷特烈
2018/12/14
1.8K0

相似问题

像素级分类/回归

12

基于新栅格数据集的负荷分类树模型

21

在R中并行化像素级回归

12

caffe:如何解释EuclideanLoss (像素级回归)

11

无法在栅格堆栈上计算R中的像素级回归

13
添加站长 进交流群

领取专属 10元无门槛券

AI混元助手 在线答疑

扫码加入开发者社群
关注 腾讯云开发者公众号

洞察 腾讯核心技术

剖析业界实践案例

扫码关注腾讯云开发者公众号
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
查看详情【社区公告】 技术创作特训营有奖征文