#  苹果群控 USB HID 不安装 APP 如何截图？

不装 App 也能截图，用 `image.captureFullScreenNoAuto()`，iOS 17 以上先调一次 `image.resetCaptureScreenNoAutoEnv()`。
代码例子：
截完的图可以直接交给 OCR：找出「搜索」两个字的位置，点进去，再往下滑视频。从截图、识别、点击到滑动，都在这一段里：

```javascript
let tocr = null;

function initOcr() {
    ocr.releaseAll();
    tocr = ocr.newOcr();
    return tocr.initOcr({
        "type": "paddleOcrOnnxV6",
        "numThread": 2,
        "single": 0,
        "matMode": 1,
        "padding": 32,
        "maxSideLen": 640,
        "doAngleFlag": 0,
        "mostAngleFlag": 0
    });
}

function findText(img, keyword) {
    let result = tocr.ocrImage(img, 30 * 1000, {"padding": 32, "numThread": 1});
    if (!result) return null;
    for (let i = 0; i < result.length; i++) {
        let item = result[i];
        if (item.label && item.label.indexOf(keyword) >= 0) {
            return {
                x: parseInt(item.x + item.width / 2),
                y: parseInt(item.y + item.height / 2)
            };
        }
    }
    return null;
}

function main() {
    usbHidEvent.sessionStart();
    usbHidEvent.setScreenSize(1170, 2532); // 换成你的机型分辨率

    image.resetCaptureScreenNoAutoEnv();
    sleep(1000);
    image.useOpencvMat(1);
    initOcr();

    let img = image.captureFullScreenNoAuto();
    if (img == null) {
        loge("截图失败");
        return;
    }

    let pos = findText(img, "搜索");
    image.recycle(img);

    if (pos) {
        usbHidEvent.clickPoint(pos.x, pos.y);
        logd("点了搜索 " + pos.x + "," + pos.y);
        sleep(1500);
    } else {
        loge("没识别到「搜索」");
    }

    // 往下滑，看下一个视频
    for (let i = 0; i < 5; i++) {
        usbHidEvent.swipeToPoint(585, 2000, 585, 600, 600);
        sleep(2000);
    }

    usbHidEvent.sessionStop();
    tocr.releaseAll();
}

main();
```

USB HID 不装 App 也能截图：`captureFullScreenNoAuto` 截完交给 OCR 识别文字，点识别结果，再滑视频页。
[USBHID 函数参考文档](https://ieasyclick.com/iosdocs/funcs/usb-hid-event-api) 

## 这段代码在做什么

`usbHidEvent.sessionStart()` 开 HID 会话，`setScreenSize` 设屏幕尺寸。点击和滑动的坐标都以这个尺寸为基准，设错了就会点偏。

`image.resetCaptureScreenNoAutoEnv()` 是 iOS 17 以上必须做的，先启动截图隧道；低版本调用不报错但无效。调完等一秒再截。

`image.useOpencvMat(1)` 把图片切到 mat 存储，截图、OCR 都吃这个格式，内存更省。

`image.captureFullScreenNoAuto()` 截一张无自动化图。截不到返回 null，先别急着写业务。

OCR 初始化用 `paddleOcrOnnxV6`，配一组偏快的参数：`maxSideLen: 640`、`doAngleFlag: 0`、`mostAngleFlag: 0`。日常正立的界面够用，遇到小字再调回 960。

`tocr.ocrImage(img, 30 * 1000, {...})` 返回一个数组，每条带 `label`、`confidence`、`x`、`y`、`width`、`height`。要点的位置取文字框中心：

```javascript
x = item.x + item.width / 2;
y = item.y + item.height / 2;
```

找到含「搜索」的文章坐标，用 `usbHidEvent.clickPoint(x, y)` 点过去。clickPoint 返回 null 或空字符串算成功，返回别的字符串是错误信息。

滑视频用 `usbHidEvent.swipeToPoint(585, 2000, 585, 600, 600)`：起点在屏幕下方，终点在上方，从下往上滑，等于翻到下一个。每次滑完等两秒，让视频加载。

最后 `sessionStop` 关会话，`tocr.releaseAll()` 释放 OCR 资源，`image.recycle(img)` 回收截图对象。

## USBHID 场景为什么用 NoAuto 截图

USB HID 和代理自动化是两条路，同一台设备只能开一条。USBHID 的特点是手机上不装 App、不装描述文件，那就不能用需要自动化服务的截图函数。

几种截图方式的区别：

| 方式 | 依赖 | 速度 | 适合                  |
|---|---|---|---------------------|
| `captureFullScreenNoAuto` | 不开自动化；iOS 17+ 先重置隧道 | 稍慢 | USBHID、BLE，没装代理 IPA |
| `captureFullScreen` / `captureFullScreenEx` | 自动化服务（代理或镜像） | 快 | 常规代理模式              |
| `imageAgent.captureFullScreenEx` | 手机内执行 | 省传输 | 代理模式、要在手机侧处理        |

## 截图之后：使用OCR 找文字，再去滑视频

真拿它刷短视频，跑一天下来是这么个循环：

1. 截一张图
2. OCR 识别，按关键字找目标，比如「搜索」「关注」「私信」
3. 算中心点，`clickPoint` 点过去
4. `swipeToPoint` 往上滑，进下一个视频
5. 等加载，再截一张图，重复

容易错误的是这几处：

- 关键字用 `indexOf` 做包含匹配。「搜索」和「搜索框」「搜索商品」都能匹配上
- 滑动的起点终点别贴着屏幕边缘，留一百多像素。贴边滑容易触发系统手势，滑到一半弹回去
- 每次循环都重新截图。用上一轮的图算这一轮的坐标，界面变了，点过去就是别的按钮
- OCR 一次要几百毫秒，循环里别太密集，需要sleep，滑完等两秒比连续滑被风控强

如果识别不到，先用 `image.saveTo(img, "debug.png")` 把图存下来看一眼，查看图片是否正确。

## 耗时太大或者黑屏了如何排查

耗时别猜，拿 `console.time` 量十次：

```javascript
for (let i = 0; i < 10; i++) {
    console.time("shot");
    let img = image.captureFullScreenNoAuto();
    logd("第 " + (i + 1) + " 次: " + console.timeEnd("shot") + " ms");
    if (img != null) image.recycle(img);
    sleep(300);
}
```

影响耗时的地方，从大到小：分辨率、图片格式（PNG 大、JPG 小）、有没有开预截图、有没有切 mat。

**返回 null**：先确认设备亮屏、没锁屏，iOS 17 以上调过 `resetCaptureScreenNoAutoEnv`。隧道没起来的时候日志里全是 null，人容易去翻点击函数，其实跟点击没关系。连续 null 就重置环境，等十秒恢复再重试：

```javascript
let img = image.captureFullScreenNoAuto();
if (img == null) {
    image.resetCaptureScreenNoAutoEnv();
    sleep(10000);
    img = image.captureFullScreenNoAuto();
}
```

**截出来是黑图**：设备锁屏、目标 App 在后台、隧道刚重置还没恢复，都会黑。先点亮、切回前台，等一两秒再截。

**跑一段时间后开始失败**：九成是没回收。每张 AutoImage 都要 `image.recycle()`，循环里尤其别漏。

**要提速**：换成预截图。开一个后台预截图线程，之后每帧只取图，不再走完整截图：

```javascript
function main() {
    image.resetCaptureScreenNoAutoEnv();
    image.useOpencvMat(1);
    // types 传 10：PNG 不压缩，不开自动化也能截
    image.startPreCapScreen("10", 0, 20);

    for (let i = 0; i < 10; i++) {
        sleep(1000);
        console.time("stream");
        let img = image.captureScreenStream();
        logd("取一帧 " + console.timeEnd("stream") + " ms");
        if (img != null) image.recycle(img);
    }

    image.stopScreenStream();
}

main();
```






不装 App 也能截图，用 image.captureFullScreenNoAuto()，iOS 17 以上先调一次 image.resetCaptureScreenNoAutoEnv()。代码例子：截完的图可以直接交给 OCR：找出「搜索」两个字的位置，点进去，再往下滑视频。从截图、识别、点击到滑动，都在这一段里：

EasyClick苹果群控脚本USBHID技术配合OCR滑动短视频

EasyClick苹果群控脚本USBHID技术配合OCR滑动短视频,不装 App 也能截图，用 image.captureFullScreenNoAuto()，iOS 17 以上先调一次 image.resetCaptureScreenNoAutoEnv()。代码例子：截完的图可以直接交给 OCR：找出「搜索」两个字的位置，点进去，再往下滑视频。从截图、识别、点击到滑动，都在这一段里：

总监

人工智能

苹果群控USBHID免安装APP实现截图与OCR识别完整方案：采用captureFullScreenNoAuto()截屏，iOS17以上需先调用resetCaptureScreenNoAutoEnv()。通过paddleOcrOnnxV6模型识别文字坐标，实现点击搜索、滑动视频自动化。附详细代码示例、耗时优化技巧及黑屏异常排查指南，支持预截图加速，适合批量设备控制场景。

代码解释

让每一个 Agent，都跑在云上

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

苹果群控USBHID免安装APP实现截图与OCR识别完整方案：采用captureFullScreenNoAuto()截屏，iOS17以上需先调用resetCaptureScreenNoAutoEnv()。通过paddleOcrOnnxV6模型识别文字坐标，实现点击搜索、滑动视频自动化。附详细代码示例、耗时优化技巧及黑屏...

EasyClick苹果群控脚本USBHID技术配合OCR滑动短视频-腾讯云开发者社区-腾讯云

EasyClick苹果群控脚本USBHID技术配合OCR滑动短视频

EasyClick苹果群控脚本USBHID技术配合OCR滑动短视频

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐