开源眼动pupil

今天在文件夹里面又看到眼动的源码了，以前能力不够，写的东西不深刻，今天再重写下。

https://arxiv.org/pdf/2102.02115.pdf

如果没有眼动仪也可以使用数据集做实验，论文在上面。

标题

眼动实例

具体而言，第 1 和第 5 列包含输入图像；第 2 和第 6 列的人眼图像展示了巩膜、虹膜和瞳孔的叠加分割（overlaid segmentation）；第 3 和第 7 列展示了输入图像的特征点，其中红色表示眼睑、绿色表示虹膜、白色表示瞳孔；第 4 和第 8 列展示了计算出的眼球以及眼球中心和注视向量。

展示了瞳孔、虹膜和巩膜的区域分布箱形图（左），以及注视向量的对数分布（右）

展示了瞳孔（左）、虹膜（中）和眼睑（右）特征点的对数分布

接下来还是研究这个眼动仪的实现方案。

穿戴，捕获，分析

出售的样子

主要的眼动相机是192x192的一个红外摄像机

可以接安卓手机同步控制

APP的样子

1. 场景摄像头图标：此图标在场景摄像头连接时显示。只有在连接场景摄像机时才会出现色点。录制过程中，沿灰色环会出现一条色迹。轨迹中的间隙表示此相机断开连接。
2. 眼部摄像头图标：当眼部摄像头已连接时，此图标会显示。仅当连接眼部摄像头时才会出现色点。在录制过程中，沿着内部的灰色环会出现一条色迹。路径中的间隙表示这些摄像头断开连接。
3. 录音时间：显示已用录音时间。
4. 活跃佩戴者：当前选择的佩戴者。
5. 活动模板：单击此按钮可填写活动模板的字段。
6. 菜单：主应用程序导航。访问录音、佩戴者、模板、设置。
7. 信息：按此按钮可查看有关剩余录制时间、眼镜和场景摄像机信息以及配套设备名称的信息。
8. 录音：按下此按钮开始或停止录音。
9. 预览：按下此按钮可查看带有凝视叠加的场景视频的实时预览。

一个灰度的摄像头去捕捉眼球的动作

校准

https://arxiv.org/pdf/2009.00508.pdf

https://pupil-labs.com/publications/

使用这个眼动仪发布的论文成果

https://docs.pupil-labs.com/core/diy/#camera-mounts

发现个页面说，这个如果你买不起，还有DIY的版本。。。

一个简易的支架

后面的视角

https://github.com/pupil-labs/pupil

罗技的摄像头

红外的发射模块

把红外发射器焊接到CCD上面

把镜头的红外滤光片抠了

https://github.com/pupil-labs/pupil-geometry

有开源的打印件

主要的捕捉摄像头

上面就是红外线的摄像头

200HZ，我现在也买不到

可以去调焦

就像这样

https://github.com/xioTechnologies/Fusion

IMU融合算法

这个插件可视化来自瞳孔隐形记录的加速度计和陀螺仪数据。它还使用Madgwick 的算法融合数据，以在俯仰轴和横滚轴上产生无漂移的方向估计。

https://docs.pupil-labs.com/core/terminology/

技术指南

https://github.com/pupil-labs/pupil

开源仓库

https://april.eecs.umich.edu/software/apriltag.html

使用到的一种定位方式

2D平面的内核论文

图像的处理结果

我们下篇文章看源码的实现