ESP32眼动追踪实现-EyeTrackVR

眼动应用其实实现的主要功能是：实时注视估计和跟踪。注视估计是识别任何给定时刻的视线，而跟踪是连续跟随视线的能力。

这个眼动仪是研究性质的，不建议，也不适合投入生产实践。文章中诸多细节也未给出，硬件改装也未给出。安全性和合规性也未给出，有复现的，研究的，注意相关文件的补充。

算法在之后的时间里会有补充。

Apple Vision Pro-1984来临前的序曲

开发一个完整的眼动追踪应用-Python版

眼动追踪传感器选型

眼动追踪:梯度法精确定位眼中心(论文)

ESP32-CAM是采集眼动数据的，接着通过串口或者网络把这个数据传到电脑里面，这个时候有一个Python后端在运行，把视频流解码，然后使用一个上位机来控制这个后端。

这个东西只要25

传输上面，一个是无线的2.4G：

测试

一个有线的-看上去是USB，其实是串口，比特率高的不行（30W）

这里我就放了seeed的板子

首先项目第一步要跑起来这个后端：

安装windows的包管理

> Set-ExecutionPolicy -ExecutionPolicy RemoteSigned -Scope CurrentUser
> Invoke-RestMethod -Uri https://get.scoop.sh | Invoke-Expression

成功

scoop install pipx
pipx ensurepath

接着安装pipx

pipx install poetry

这个代码在运行的时候不可以翻墙，我这里是手机热点安装成功。

pipx ensurepath

自动加路径

poetry install --no-root

最后在包下面安装所有的依赖

需要注意要使用高版本的解释器

这里会出现很多吃这个问题

我们只要把上面的包重新卸载安装就好

这个是所有的后端需要的库

完成后，直接开启

会有一个集成的API列表出现

这个API写了什么呢？

这段JSON描述了一个跟踪系统的配置，关键组件的简要说明：

1. Enabled: 指示跟踪系统当前是否启用。在这里，设置为false，表示已禁用。
2. Algorithm: 描述了跟踪系统使用的算法。
4. 以下是按顺序列出的算法： 每种算法可能具有特定的参数和配置。
   • LEAP
   • BLOB
   • HSRAC
   • RANSAC
   • HSF
5. Camera: 描述了与捕获输入有关的参数：
   • Capture Source: 当前为空，这意味着此处未指定。
   • Rotation: 指定捕获图像的旋转。
   • Threshold: 相机操作的阈值。
   • Focal Length: 相机镜头的焦距。
   • Flip X/Y Axis: 指示是否沿着X或Y轴翻转图像的标志。
   • Region of Interest (ROI): 指定捕获图像中感兴趣的区域，由其X、Y坐标、宽度和高度定义。

细节什么的，以后再写，现在看固件，使用platformio开发

默认固件就是最便宜的开发板

使用USB的话可以直接切换工程

这些是需要的所有库，会自动安装

这个USB其实就是串口转USB，为了速度，30W的比特率

这个是相机的数据

fb = esp_camera_fb_get(); // 从相机获取帧缓冲区
    if (fb) 
    {
      len = fb->len; // 获取帧的长度
      buf = fb->buf; // 获取帧的数据
    } 
    else 
    {
      log_e("Camera capture failed with response: %s", esp_err_to_name(err)); // 如果获取帧失败，则记录错误信息
      err = ESP_FAIL; // 设置错误码
    }

这个是一帧数据的样子

这段代码的作用是循环地从摄像头捕获帧并将其传输到串行端口。如果捕获帧失败，则会记录错误信息并继续循环。在每次传输之后，会计算延迟并记录帧大小和延迟信息。

代码进行了解耦，就三部分，恒流源的LED和相机以及串口

这个是代码的循环

该函数的作用是不断循环监听串口通信。如果串口可用，它将尝试解析接收到的 JSON 命令，并将其传递给命令管理器进行处理。如果串口不可用（可能因为正在使用USB接口），则会调用 send_frame() 函数发送摄像头帧。

串口

函数 SerialManager::run()：

不断循环监听串行端口上是否有数据可用。如果有数据可用，则读取并解析 JSON 命令，然后交给 CommandManager 处理。

这个代码有趣

把代码的头对比好，来控制机器

初始化眼动跟踪器的网络相关功能（如果未启用 USB API）

看代码，串口没有控制功能，单纯的输出图像数据。

测试可以到70FPS，这个数据有点假

后端开启，再打开追踪的GUI

连接

这个是我的摄像头太垃圾了，没有调焦

开始捕获了

追踪中

这个上位机的代码呢，也可以自己开发：

第一步在这里改成小写以免打包失败（一定改）

记住进这个地方，不然读取不到打包文件

poetry run pyinstaller eyetrackapp.spec

在dist里面找到exe启动

最新的更新有了新算法

ONNX是一个开放式的规范，定义了可扩展的计算图模型、标准数据类型以及内置的运算符。该文件在存储结构上可以理解为是一种层级的结构。

最新的代码还是加入了神经网络

可能对于大多数人来讲，这些东西太过于复杂。但是没办法，就这么个情况，很多人倒是需要这个眼动仪，过段日子就可以小批量的卖一波了。

https://docs.slimevr.dev/common-issues.html

https://github.com/raphaelbs/esp32-cam-ai-thinker

https://github.com/EyeTrackVR/EyeTrackVR

https://github.com/EyeTrackVR/EyeTrackVR/releases/tag/EyeTrackApp-0.1.8.1

https://fastapi.tiangolo.com/

https://pipx.pypa.io/stable/installation/

https://scoop.sh/