首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

谷歌终于推出TensorFlow Lite,实现在移动设备端部署AI

今天,谷歌终于宣布推出TensorFlow Lite,它是TensorFlow在移动嵌入式设备中的轻量解决方案,开发者提供在移动嵌入设备上部署AI的能力。 ?...TensorFlow Lite模型之后会被部署到手机APP中,包括: Java API:安卓上C++ API的轻便封装 C++ API:加载TensorFlow Lite模型文件并调用编译器,在安卓iOS...编译器:用一系列运算符执行模型。编译器支持加载可选择的操作符;如果没有运算符,编译器只有70KB,当所有运算符加载完时300KB,比TensorFlow Mobile需要的1.5M小很多。...智能回复:一种设备内部的对话模型,支持即时回复对话聊天信息。第一方第三方的讯息App在Android Wear上使用这个特征。...今天推出的TensorFlow Lite还是开发者预览版本,目前TensorFlow Mobile已久支持应用程序的开发。

1.1K90

谷歌全面开源 MLIR 及生态联盟,全球 95% 的加速器硬件都在使用

TensorFlow 生态系统包含许多编译器优化器,可在多个级别的软硬件堆栈上运行。...作为 TensorFlow 的日常用户,在使用不同种类的硬件(GPU、TPU、移动设备)时,这种多级别堆栈可能会表现出令人费解的编译器运行时错误。 ?...(或者将二者结合) 将图转化为 TensorRT、nGraph 或另一种适合特定硬件指令集的编译器格式 将图转化为 TensorFlow Lite 格式,然后在 TensorFlow Lite 运行时内部执行此图...为了更好解决 TensorFlow 用户在使用不同种类的硬件(GPU、TPU、移动设备)时,由于多级别堆栈而导致的编译器与运行时错误,我们开源了一个全新的中介码与编译器框架 MLIR。...另外值得一提的是,虽然 MLIR 充当 ML 的编译器,但它同样支持在编译器内部使用机器学习技术。MLIR 的扩展性有助于探索代码降阶策略,并在抽象之间执行逐步降阶。

1.5K20
您找到你想要的搜索结果了吗?
是的
没有找到

Win10系统编译Tensorflow Lite 2.3动态链接库tensorflowlite_c.dll

Tensorflow 在Linux平台与Mac平台下编译也非常轻松,基本不会遇到太多问题(据说Google内部只用Linux与Mac)。...但是在Windows下编译真是一波三折,好在已经编译成功了,记录一下Windows 10Tensorflow Lite编译过程,帮助一下跟我一样被Tensorflow折腾的不行的人。...每个版本tensorflow都有其对应的bazel版本,如果版本不一致,可能会在编译期间出现错误,这种错误还很难排查,-_-||。...: 无法识别的选项“/s”;已忽略 正在创建库 bazel-out/x64_windows-opt/bin/tensorflow/lite/c/tensorflowlite_c.dll.if.lib...最佳做法是将E:\tensorflow-2.3.1\tensorflow目录下,只保留lite目录,其他目录删除。在lite目录中只保留ccore两个子目录,其他的删除。

4.6K50

全新中介码与编译器框架 MLIR

AI 科技评论按:为了更好解决 TensorFlow 用户在使用不同种类的硬件(GPU、TPU、移动设备)时,由于多级别堆栈而导致的编译器与运行时错误,近日开源了一个全新的中介码与编译器框架 MLIR。...将图转化为 TensorRT、nGraph 或另一种适合特定硬件指令集的编译器格式 将图转化为 TensorFlow Lite 格式,然后在 TensorFlow Lite 运行时内部执行此图,或者通过...Android 神经网络 API (NNAPI) 或相关技术将其进一步转化,以在 GPU 或 DSP 上运行 MLIR(或称为多级别中介码)是一种表示格式编译器实用工具库,介于模型表示低级编译器/...据了解,MLIR 深受 LLVM 的影响,并不折不扣地重用其许多优秀理念,比如拥有灵活的类型系统,可在同一编译单元中表示、分析转换结合多层抽象的图等——这些抽象包括 TensorFlow 运算、嵌套的多面循环区域乃至...另外值得一提的是,虽然 MLIR 充当 ML 的编译器,但它同样支持在编译器内部使用机器学习技术。MLIR 的扩展性有助于探索代码降阶策略,并在抽象之间执行逐步降阶。

58520

谷歌正式发布移动端深度学习框架TensorFlow Lite

今年 5 月,谷歌曾在 I/O 大会上宣布即将推出 TensorFlow Lite,今日,谷歌终于发布了新工具的开发者预览版本,这是一款 TensorFlow 用于移动设备嵌入式设备的轻量级解决方案。...TensorFlow 可以在多个平台上运行,从机架式服务器到小型 IoT 设备。但是随着近年来机器学习模型的广泛使用,出现了在移动嵌入式设备上部署它们的需求。...C++ API:加载 TensorFlow Lite 模型文件,启动编译器。安卓 iOS 设备上均有同样的库。 编译器(Interpreter):使用运算符执行模型。...解释器支持选择性加载运算符;没有运算符时,编译器只有 70KB,加载所有运算符后,编译器 300KB。这比 TensorFlow Mobile(具备一整套运算符)的 1.5M 要小得多。...在选择的安卓设备上,编译器将使用安卓神经网络 API 进行硬件加速,或者在无可用 API 的情况下默认执行 CPU。 开发者还使用 C++ API 实现自定义 kernel,它可被解释器使用。

98180

谷歌移动端深度学习框架TensorFlow Lite正式发布

选自Google 机器之心编译 机器之心编辑部 今年 5 月,谷歌曾在 I/O 大会上宣布即将推出 TensorFlow Lite,今日,谷歌终于发布了新工具的开发者预览版本,这是一款 TensorFlow...TensorFlow 可以在多个平台上运行,从机架式服务器到小型 IoT 设备。但是随着近年来机器学习模型的广泛使用,出现了在移动嵌入式设备上部署它们的需求。...C++ API:加载 TensorFlow Lite 模型文件,启动编译器。安卓 iOS 设备上均有同样的库。 编译器(Interpreter):使用运算符执行模型。...解释器支持选择性加载运算符;没有运算符时,编译器只有 70KB,加载所有运算符后,编译器 300KB。这比 TensorFlow Mobile(具备一整套运算符)的 1.5M 要小得多。...在选择的安卓设备上,编译器将使用安卓神经网络 API 进行硬件加速,或者在无可用 API 的情况下默认执行 CPU。 开发者还使用 C++ API 实现自定义 kernel,它可被解释器使用。

1.3K80

Rust 1.52.1 已正式发布,及其新特性详述—重要,官方建议升级

2021 年 5 月 10 日,Felix Klock Mark Rousskov 代表 Rust 编译器团队发布文章 Announcing Rust 1.52.1,官宣发布 Rust 1.52.1...这是内部一致性检查导致的错误,如诊断中所述,它会产生“内部编译器错误”,也称作 ICE。换句话说,它代表了 Rust 编译器内部的一个 bug。...Rust 编译器团队认为:最好是捕获编译器指纹(fingerprints)问题并中止编译,而不是允许潜在的错误编译(以及随后的错误行为),以防止错误潜入二进制文件中。...今天的新版本 Rust 1.52.1,解决了因新添加的验证而导致的问题。此版本中,临时将 Rust 编译器中的默认值更改为禁用增量编译,除非用户有意选择启用。 为什么会出现此问题?...如果你当前正在使用 1.52.0 之前的工具链,并且希望继续这样做,我们建议你禁用增量编译,以避免出现无提示的错误编译

96120

TensorFlow产品经理:机器学习如何改变未来十年的软硬件?

本文你分享Google产品经理关于机器学习工具的讲座概要。...、TFX、TensorFlow Lite等各种新工具、新潮流如何塑造着机器学习的未来。...为了更好地触及用户,能够在移动端上提高运行TensorFlow模型效率的TensorFlow Lite将会在今年晚些时候内嵌到设备中,而像XLA这样的项目更具野心:XLA使用深度学习来支持线性代数元的先时实时编译...在实验中模型架构权重的版本——尤其是当模型从不同体系借来了部分训练模型,或者从其他模型借来了权重的时候。 2. 数据来源特征的版本; 3....小结 像TensorFlow这样的图计算深度学习库是未来计算行业发展背后的主要驱动力,这推动我们去重新审视系统架构:从硬件到编译器再到更高级的程序语言和设计规范。

61140

TensorFlow产品经理:机器学习如何改变未来十年的软硬件?

Park Commons上做了个讲座,谈到了TensorFlow、XLA、Cloud TPU、TFX、TensorFlow Lite等各种新工具、新潮流如何塑造着机器学习的未来。...为了更好地触及用户,能够在移动端上提高运行TensorFlow模型效率的TensorFlow Lite将会在今年晚些时候内嵌到设备中,而像是XLA这样的项目更具野心:XLA使用深度学习来支持线性代数元的先时实时编译...机器学习的崛起,意味着原来的clean abstraction模块化设计正在被高维浮点张量高效矩阵乘法所取代。 按这种趋势发展下去,软件工程行业将彻底改变。 Google软件工程师D....在实验中模型架构权重的版本——尤其是当模型从不同体系借来了部分与训练模型,或者从其他模型借来了权重的时候。 2. 数据来源特征的版本; 3....小结 像TensorFlow这样的图计算深度学习库是未来计算行业发展背后的主要驱动力,这推动我们去重新审视系统架构,从硬件到编译器再到更高级的程序语言和设计规范。

69350

Android 8.1版本会吸引更多的小伙伴们玩人工智能吗?

简单来说,Android Go是一个简化版本的Android O(及以上),能够在超低端的Android手机上流畅运行,具体量化就是RAM仅为512MB至1GB的机型。...添加了新的硬件功能常量,这样一来,您可以将应用 APK 拆分的分发针对运行 Android 8.1 及更高版本的正常或小内存设备。 什么是Neural Networks API?...并将 Neural Networks API 设计多种机器学习框架的基础层,这些机器学习框架包括 TensorFlow Lite Caffe2 等,TensorFlow Lite 是 Google...Pixel Visual Core将HDR+计算的速度提升了5倍,与在应用处理器上运行相比,功耗只有1/10 。...为了避免这种情况,IPU利用定制的语言来减轻开发人员编译器的负担:用Halide来进行图像处理,用TensorFlow处理机器学习。Google还定制了一个编译器,用来优化底层硬件的代码。 ?

608100

开源巨献:Google最热门60款开源项目

(详情:https://github.com/google/xi-editor) 16、Grumpy ★Star 7760 Grumpy 是一个 Python to Go 源代码翻译编译器运行时,旨在替代...它提供了类似 SQL 的语法,并且可以跨浏览器工作(目前支持 Chrome 37 及以上版本,Firefox 31 及以上版本,IE 10 及以上版本)。...github.com/google/lovefield) 27、 Java 生成器源代码集合 Auto ★Star 5295 Auto 是 Java 生成器源代码集合,Java 有许多机械、重复、未经测试的代码,而且有时会出现一些微妙的...该库兼容 Linux/Mac OS X Python 2.7。TensorFlow版本必须至少 1.0.1。...通常使用编译器只能做静态类型的检查。但使用此工具,能够进行编译器的类型分析,能够检测并抓取到编译过程中的 Bug,能够大大的节约开发者的时间。

2.1K90

开源巨献:Google最热门60款开源项目

(详情:https://github.com/google/xi-editor) 16、Grumpy ★Star 7760 Grumpy 是一个 Python to Go 源代码翻译编译器运行时,旨在替代...它提供了类似 SQL 的语法,并且可以跨浏览器工作(目前支持 Chrome 37 及以上版本,Firefox 31 及以上版本,IE 10 及以上版本)。...github.com/google/lovefield) 27、 Java 生成器源代码集合 Auto ★Star 5295 Auto 是 Java 生成器源代码集合,Java 有许多机械、重复、未经测试的代码,而且有时会出现一些微妙的...该库兼容 Linux/Mac OS X Python 2.7。TensorFlow版本必须至少 1.0.1。...通常使用编译器只能做静态类型的检查。但使用此工具,能够进行编译器的类型分析,能够检测并抓取到编译过程中的 Bug,能够大大的节约开发者的时间。

6.9K61

2018年Google TensorFlow开发者峰会亮点总结

为了使调试模型更容易,我们还将发布一个新的交互式图形调试器插件,作为TensorBoard可视化工具的一部分,它可以帮助您实时地检查跨越计算图的内部节点。 ?...它集成了一流的编译器语言支持,提供了图形的全部功能,并具有eager execution的可用性。项目还在开发中,将会有更多的更新!...我们还分享了TensorFlow Lite的最新更新,TensorFlow轻量级的跨平台解决方案,用于在移动设备其他edge设备上部署经过培训的ML模型。...TensorFlow Lite核心解释器的大小现在只有75KB(对于TensorFlow来说是1.1 MB),我们在TensorFlow LiteTensorFlow上运行量化的图像分类模型时,看到了高达...除了深度学习神经网络模型,TensorFlow现在通过TensorFlow概率API贝叶斯分析提供了最先进的方法。这个库包含构建块,如概率分布、抽样方法新的度量损失。

1K110

掌握深度学习,为什么要用PyTorch、TensorFlow框架?

虽然急切执行模式在 TensorFlow 中刚刚出现,但其是 PyTorch 唯一的运行方式:API 在被调用时会立即执行,而不会被添加到计算图稍后再运行。...Keras 支持三种后端深度学习框架:TensorFlow、CNTK Theano。目前亚马逊正在全力Keras 开发 MXNet 后端。...Keras 除了可以单独安装之外,TensorFlow 还包含一个内部 tf.keras 类。如上所述,这是TensorFlow 的首选高级前端。...Keras 提供了一个高级环境,在其 Sequential 模型中向神经网络添加一层的代码量可以缩减到一行,编译训练模型也分别只需一个函数调用。...如何选择深度学习框架 在 PC Mac 出现的早期,人们经常会问我应该买哪个。

1.4K10
领券