首页
学习
活动
专区
圈层
工具
发布

当AR遇上深度学习:实时超声肾脏分割与测量技术全解析

两者均由Unity 2022中的AR应用程序支持,确保与多种头戴式显示器兼容,并在研究和医疗领域实现更广泛的可访问性。通过使用公开可用的模型和数据集,我们的工作促进了可访问性和可重复性。...第一阶段获取冠状面视图以测量长度,第二阶段则获取横断面视图以确定宽度和厚度。这些图像通过有线或无线流媒体传输至个人计算机,并在其中进行分割处理。...服务器:服务器负责在Python脚本与HoloLens 2之间建立通信桥梁。...测量评估表 2 展示了各模型基于分割的测量误差与基于医生获取的地面 truth(标注分割结果)在内部数据集上的对比。医生的测量结果直接在超声设备上获取,也一并纳入。...评估可用性、用户体验及与现有工作流程的集成将对确保临床采用和优化AR辅助诊断工具设计至关重要。

4610
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    Hololens开发学习(七)——用HoloLens和Kinect构建远程呈现

    因为它可以广泛使用,功能非常强大,并且可以很好地适用于Unity。 HoloLens不允许第三方硬件插入USB端口,因此需要某种网络层来促进设备间通信。...虽然Unity的Kinect插件在UWP中不起作用(Kinect无论如何都不能插入HoloLens设备中),但它仍然可以在部署到Windows或在IDE中运行时运行(在这种情况下,它使用 .NET 3.5...由于该服务已在PC上运行,因此它也可用于PC与单个HoloLens设备之间的通信。此外,它可以用来发送不仅仅是世界的锚,它还可以发送任何类型的原始值,例如,Kinect的位置。...3、使用HoloLens-Kinect项目二次开发 使用Michelle Ma的代码,需要两个独立的Unity项目:一个用于在台式PC上运行,另一个用于在HoloLens上运行。...在HoloLens设备上,一个名为BodyReceiver.cs的脚本获取了接收到关节数据并将其传递给它自己的BodyView类实例,该类实例化了由球体基元组成的点组。 ?

    2.1K10

    Unity推出新工具,开发者可在Hololens上浏览PC端3D内容

    据悉,Holographic Remoting Player对于开发者来说相当有用,其主要功能包括Unity Play Mode模拟输入、HoloLens 统一远程调试、Hololens远程连接到Windows...其中,Unity Play Mode模拟输入 与HoloLens Emulator类似。HoloLens Emulator 是一个窗口,能够向模拟的HoloLens 输入数据。...此外,HoloLens统一远程调试类似于Unity允许远程调试iOS/Android设备的功能。开发者可以通过Unity Editor查看HoloLens的视角,并且进行输入和调试。 ?...小编了解到,要在UWP中启用远程处理,开发者需要先打开“构建设置”窗口,并选择“启用XR远程处理”,然后将UWP应用添加到“启用XR远程处理”的列表中。 ?...同时,开发者需要编写一些代码,以使UWP应用能够远程连接到HoloLens设备。此外,开发者还需要安装Windows Store提供的Holographic Remoting Player。 ?

    1K40

    微软: 游戏虽不是HoloLens的主导,但开发者仍有很大的机会

    尽管微软增加了HoloLens的可用性,但它仍然停留在开发者层面,还没有成为一个消费品。而开发商们却已经在平台上推进了视频游戏的议程。...微软从来没有否认HoloLens为视频游戏提供的机会,但是该公司公开声明称该设备并不是首要的游戏平台。据马丁称,目前主要是开发商在准备利用HoloLens带来的电子游戏机会。 ?...“我们肯定能看到游戏开发商们的需求”,马丁说道,“其中一个原因是因为Unity是目前游戏开发平台的一个核心的方式,由于他们在传统游戏中的积累以及来自新平台的需求,我们的平台将成为开发者们创作的热土。...有了Unity提供的支持,游戏厂商们的发展空间还是很大的。” ? 当然,目前普及HoloLens的最大障碍在于它的价格。...“HoloLens与市面上的同类产品不同,它在使用时不需要高配电脑的支持。你所需要的只有这一套设备本身,况且在性能方面,它绝对是独一无二的。

    59840

    【Unity3D 灵巧小知识点】 | 使用宏定义和Application.platform判断运行平台

    Unity 小科普 老规矩,先介绍一下 Unity 的科普小知识: Unity是 实时3D互动内容创作和运营平台 。...Unity 平台提供一整套完善的软件解决方案,可用于创作、运营和变现任何实时互动的2D和3D内容,支持平台包括手机、平板电脑、PC、游戏主机、增强现实和虚拟现实设备。...Unity小知识点学习 平台#define指令 Unity支持的平台#define指令如下: 属性:功能:UNITY_EDITOR从游戏代码调用Unity编辑器脚本的#define指令。...UNITY_WII编译/执行Wii控制台代码的#define指令。UNITY_IOS编译/执行iOS平台代码的#define指令。UNITY_IPHONE已过时。改用UNITY_IOS。...UNITY_WSA_10_0通用Windows平台的#define指令。另外,WINDOWS_UWP是在针对.NET Core编译C#文件时定义的。UNITY_WINRT与UNITY_WSA相同。

    82730

    跨平台游戏引擎 Axmol-2.1.0 发布

    的主要更新如下大幅缩减了仓库大小,由原来的 1.1GB+ 缩减至约:80MBcmake 配置阶段同时添加了 gitee 镜像支持,在相对于引擎目录创建空文件 1k/.gitee 即可Windows UWP...用于生成预烘焙 SDF 字体纹理增加 API:FontAtlasCache::preloadFontAtlas用于于加载预烘焙的 SDF Font 纹理增加 API:Device::getPixelRatio 获取设备...DPI 缩放值ImGui Android 平台增加 DPI 支持增加 Windows UWP 平台 FPS 控制支持,以便在高刷屏幕上能够合理限制帧率整合 backend::Device 和 backend...WebSocket 支持添加 fairygui Lua 绑定支持为 PC 平台启用矩阵运算 SSE 加速指令支持添加 UserDefault 多文件配置支持添加 ActionCoroutine 类似 unity...3.6.3webp: 1.3.1 ==> 1.3.2yasio: 4.1.0 ==> 4.1.4fmt: 10.1.1 ==> 10.2.1imgui: 1.89.8 ==> 1.90.1gitee镜像地址可用

    34410

    当你还没弄清VRARMR的时候,Unity已经将目光瞄准了XR

    该大会是基于Unity的欧洲开发者大会,Unity是一个开发工具,同时也是全面整合的专业游戏引擎,可用于创建视频游戏、模拟和其他交互式3D、2D以及VR / AR内容。...大会聚集了开发人员、电影人、艺术家、教师、研究人员等任何使用Unity创作内容的人,会议重点在于探讨VR/AR/MR的发展现状及未来趋势。 ?...在大会开幕式主题演讲中,Unity的XR研究人员Sarah Stumbo透露:“Unity即将推出的XRFT将在今年晚些时候准备就绪”。 XR(X现实),是指包括结合数字和生物现实的技术指导的体验。...当谈及该工具包可对接的硬件时,Stumbo表示道:“当前市面上有很多VR/AR设备,如Oculus Rift、HTC Vive、PSVR以及微软的HoloLens等。...Unity一直是VR内容研发领域的重要参与者,大量开发人员使用其软件来创建最新的虚拟内容。等XRFT推出后,或将带动大批开发者投身XR内容的创作中,为我们带来更多的全新体验。

    1.2K40

    UWP 通过 .NET 9 和Native AOT 的支持实现 UWP 应用的现代化

    微软(9 月 11 日)发布博文,微软正在预览对 .NET 9 的 UWP(通用 Windows 平台)支持,为现有 UWP 开发人员提供一条使用最新的 .NET 和本机 AOT 实现其应用程序现代化的途径...此预览版 UWP 对 .NET 9 的支持为 UWP 应用程序提供了使用最新版本的 .NET 进行现代化的途径。...UWP 于 2015 年随 Windows 10 推出,实现了 微软在所有 Windows 设备(电脑、平板电脑、Xbox、IoT、HoloLens 等)上建立统一应用平台的愿景。...分离,使其可用于 UWP 和传统 Win32 应用程序(通过 Windows 应用程序 SDK)。...、MAUI 等: 微软表示 UWP 对 .NET 9 的支持的主要目标包括: 为希望迁移到 WinUI 3 的 UWP 开发人员提供更好的迁移路径。

    29400

    AR,离我们并不遥远

    比如微软推出的HoloLens设备,他们和各行业企业合作推出了很多AR范例应用。 考虑设备能力 内容要由合适的设备来承载和展现。...原型 纸盒原型 我们用一些纸盒、乐高或者是真实的物品代替,在真实的3D空间、实际场景中做实验,检测我们的原型设计是否可用有效,用户使用是否方便。...开发 Unity 我们的开发平台选用Unity 3D引擎。...HoloLens上内存如果超过900兆会被直接关掉,也是我们需要关注的问题。 耗电量取决于应用的强度和帧率。 设备温度要关注的是环境处于室内还是室外,还有使用时间等因素都和温度有着密不可分的关系。...CI/CD 用Jenkins启动Unity命令行工具,可直接使用Unity的接口。可以用Unity的Unity Cloud Build服务,构建手机应用。

    1.1K60

    用于增强现实的实时可穿带目标检测:基于YOLOv8进行ONNX转换和部署

    01 前景概要 我们的方法使用了最近最先进的YOLOv8网络,该网络在Microsoft HoloLens 2头戴式显示器(HMD)上运行。...AR耳机,如被广泛认为是最先进的Microsoft HoloLens 2(HL2),提供免提AR体验。...克服这些限制使得能够在耳机上使用广泛可用的ML算法。我们还相信,AR开发人员可以利用我们在YOLOv8 for HL2上的工作来创建新的应用程序,扩展该耳机的当前用例。...然后,Unity引擎中的Barracuda库使用该模型对HL2执行目标检测,并提供检测到的对象的可视化。我们决定使用Unity平台,因为它是AR和VR(虚拟现实)研究中使用最广泛的软件框架之一。...我们成功测试了导出和部署公开可用的原始YOLOv8目标检测模型。此外,我们可以为任何具有足够数据的自定义类训练YOLOv8,同时遵循对自定义数据集进行模型微调的指导原则。

    1.5K30

    微软何时不再“阳萎” 看Nadella上任一年后憋了哪些大招

    UWP平台的App还可以通吃桌面环境、Xbox、IoT设备、Surface Hub大型触控屏幕。...对Android和iOS平台的支持是微软通用窗口平台(UWP)其中一环,这平台还可通吃桌面环境、Xbox、IoT设备、Surface Hub大型触控屏幕,甚至是微软超炫的HoloLens的Holographic...到了4月,微软进一步展示更多生活化和办公职场内的应用,例如可用HoloLens来建立个人的虚拟工作空间,就像个人桌面一样,将常用App的画面,放在办公桌四周,甚至,App还可以跟着人移动,人走到哪,App...更重要的是,微软用来开发HoloLens虚拟现实应用的Windows Holographic开发平台,其API也是微软通用窗口平台UWP的一部分, Windows 10的标准App也可以直接在HoloLens...另外,HoloLens还可用于课堂上呈现更多教材细节,例如用3D模型来呈现人体解剖图来帮助学生了解。 结合实体机器人,HoloLens可以成为机器人操控设备,也是机器人的眼睛。

    1.9K50

    Succinctly 中文系列教程(三)20220109 更新

    :数据集 Succinctly Groovy 教程 零、简介 一、起步 二、语言基础 三、解决方案基础 四、数据流 五、集成系统 六、大型应用 七、下一步 八、附录:代码清单 Succinctly Hololens...教程 一、数字现实简介 二、工具 三、空间映射 四、凝视 五、手势 六、语音 七、声音 八、全息图质量 九、测试 HoloLens 体验 十、共享全息图 十一、下一步 Succinctly 自定义语言实现教程...十一、备份和恢复 十二、最后的话 Succinctly MonoGame 教程 一、简介 二、安装和配置 三、创建第一个游戏 四、2D 图形 五、输入 六、音频 七、完成游戏 Succinctly UWP...附录 A:数据集 十一、附录 B:SMO 算法 Succinctly Twilio C# 教程 零、简介 一、使用短信 二、使用短信的自动化 三、接打电话 四、使用语音的自动化 Succinctly Unity...游戏开发教程 零、前言 一、入门 二、场景与场景管理 三、用户界面 四、二维图形和精灵 五、输入 六、动画 七、音频 八、实现游戏性 九、附录:资源 Succinctly UWP 教程 一、简介

    19.1K20
    领券