首页
学习
活动
专区
工具
TVP
发布

月色的自留地

专栏作者
113
文章
208629
阅读量
65
订阅数
TensorFlow从1到2(十五)(完结)在浏览器做机器学习
TensorFlow一直努力扩展自己的基础平台环境,除了熟悉的Python,当前的TensorFlow还实现了支持Javascript/C++/Java/Go/Swift(预发布版)共6种语言。 越来越多的普通程序员,可以容易的在自己工作的环境加入机器学习特征,让产品更智能。
俺踏月色而来
2019-05-17
8870
TensorFlow从1到2(十三)图片风格迁移
《从锅炉工到AI专家(8)》中我们介绍了一个“图片风格迁移”的例子。因为所引用的作品中使用了TensorFlow 1.x的代码,算法也相对复杂,所以文中没有仔细介绍风格迁移的原理。 今天在TensorFlow 2.0的帮助,和新算法思想的优化下,实现同样功能的代码量大幅减少,结构也越发清晰。所以今天就来讲讲这个话题。
俺踏月色而来
2019-05-15
1.9K9
TensorFlow从1到2(十四)评估器的使用和泰坦尼克号乘客分析
通常认为评估器因为内置的紧密结合,运行速度要高于Keras。Keras一直是一个通用的高层框架,除了支持TensorFlow作为后端,还同时支持Theano和CNTK。高度的抽象肯定会影响Keras的速度,不过本人并未实际对比测试。我觉的,对于大量数据导致的长时间训练来说,这点效率上的差异不应当成为大问题,否则Python这种解释型的语言就不会成为优选的机器学习基础平台了。 在TensorFlow 1.x中可以使用tf.estimator.model_to_estimator方法将Keras模型转换为TensorFlow评估器。TensorFlow 2.0中,统一到了tf.keras.estimator.model_to_estimator方法。所以如果偏爱评估器的话,使用Keras也不会成为障碍。
俺踏月色而来
2019-05-15
9340
TensorFlow从1到2(八)过拟合和欠拟合的优化
《从锅炉工到AI专家(6)》一文中,我们把神经网络模型降维,简单的在二维空间中介绍了过拟合和欠拟合的现象和解决方法。但是因为条件所限,在该文中我们只介绍了理论,并没有实际观察现象和应对。 现在有了TensorFLow 2.0 / Keras的支持,可以非常容易的构建模型。我们可以方便的人工模拟过拟合的情形,实际来操作监控、调整模型,从而显著改善模型指标。
俺踏月色而来
2019-05-10
1.2K0
TensorFlow从1到2(七)回归模型预测汽车油耗以及训练过程优化
“回归”这个词,既是Regression算法的名称,也代表了不同的计算结果。当然结果也是由算法决定的。 不同于前面讲过的多个分类算法,回归模型的结果是一个连续的值。 实际上我们第一篇的房价预测就属于回归算法,如果把这个模型用于预测,结果是一个连续值而不是有限的分类。 从代码上讲,那个例子更多的是为了延续从TensorFlow 1.x而来的解题思路,我不想在这个系列的第一篇就给大家印象,TensorFlow 2.0成为了完全不同的另一个东西。在TensorFlow 2.0中,有更方便的方法可以解决类似问题。 回归算法在大多数机器学习课程中,也都是最早会学习的算法。所以对这个算法,我们都不陌生。 因此本篇的重点不在算法本身,也不在油耗的预测,而是通过油耗预测这样简单的例子,介绍在TensorFlow 2.0中,如何更好的对训练过程进行监控和管理,还有其它一些方便有效的小技巧。
俺踏月色而来
2019-05-09
1.3K0
TensorFlow从1到2(六)结构化数据预处理和心脏病预测
前面所展示的一些示例已经很让人兴奋。但从总体看,数据类型还是比较单一的,比如图片,比如文本。 这个单一并非指数据的类型单一,而是指数据组成的每一部分,在模型中对于结果预测的影响基本是一致的。 更通俗一点说,比如在手写数字识别的案例中,图片坐标(10,10)的点、(14,14)的点、(20,20)的点,对于最终的识别结果的影响,基本是同一个维度。 再比如在影评中,第10个单词、第20个单词、第30个单词,对于最终结果的影响,也在同一个维度。 是的,这里指的是数据在维度上的不同。在某些问题中,数据集中的不同数据,对于结果的影响维度完全不同。这是数据所代表的属性意义不同所决定的。这种情况在《从锅炉工到AI专家(2)》一文中我们做了简单描述,并讲述了使用规范化数据的方式在保持数据内涵的同时降低数据取值范围差异对于最终结果的负面影响。 随着机器学习应用范围的拓展,不同行业的不同问题,让此类情况出现的越加频繁。特别是在与大数据相连接的商业智能范畴,数据的来源、类型、维度,区别都很大。 在此我们使用心脏病预测的案例,对结构化数据的预处理做一个分享。
俺踏月色而来
2019-05-07
1K0
TensorFlow从1到2(五)图片内容识别和自然语言语义识别
上一节我们讲过了完整的保存模型及其训练完成的参数。 Keras中使用这种方式,预置了多个著名的成熟神经网络模型。当然,这实际是Keras的功劳,并不适合算在TensorFlow 2.0头上。 当前TensorFlow 2.0-alpha版本捆绑的Keras中包含:
俺踏月色而来
2019-04-25
2.1K0
TensorFlow从1到2(四)时尚单品识别和保存、恢复训练数据
在TensorFlow官方新的教程中,第一个例子使用了由MNIST延伸而来的新程序。 这个程序使用一组时尚单品的图片对模型进行训练,比如T恤(T-shirt)、长裤(Trouser),训练完成后,对于给定图片,可以识别出单品的名称。
俺踏月色而来
2019-04-22
6690
TensorFlow从1到2(三)数据预处理和卷积神经网络
从这个例子开始,相当比例的代码都来自于官方新版文档的示例。开始的几个还好,但随后的程序都将需要大量的算力支持。Google Colab是一个非常棒的云端实验室,提供含有TPU/GPU支持的Python执行环境(需要在Edit→Notebook Settings设置中打开)。速度比不上配置优良的本地电脑,但至少超过平均的开发环境。 所以如果你的电脑运行速度不理想,建议你尝试去官方文档中,使用相应代码的对应链接进入Colab执行试一试。 Colab还允许新建Python笔记,来尝试自己的实验代码。当然这一切的前提,是需要你科学上网。
俺踏月色而来
2019-04-21
9340
TensorFlow从1到2(二)续讲从锅炉工到AI专家
原文第四篇中,我们介绍了官方的入门案例MNIST,功能是识别手写的数字0-9。这是一个非常基础的TensorFlow应用,地位相当于通常语言学习的"Hello World!"。 我们先不进入TensorFlow 2.0中的MNIST代码讲解,因为TensorFlow 2.0在Keras的帮助下抽象度比较高,代码非常简单。但这也使得大量的工作被隐藏掉,反而让人难以真正理解来龙去脉。特别是其中所使用的样本数据也已经不同,而这对于学习者,是非常重要的部分。模型可以看论文、在网上找成熟的成果,数据的收集和处理,可不会有人帮忙。 在原文中,我们首先介绍了MNIST的数据结构,并且用一个小程序,把样本中的数组数据转换为JPG图片,来帮助读者理解原始数据的组织方式。 这里我们把小程序也升级一下,直接把图片显示在屏幕上,不再另外保存JPG文件。这样图片看起来更快更直观。 在TensorFlow 1.x中,是使用程序input_data.py来下载和管理MNIST的样本数据集。当前官方仓库的master分支中已经取消了这个代码,为了不去翻仓库,你可以在这里下载,放置到你的工作目录。 在TensorFlow 2.0中,会有keras.datasets类来管理大部分的演示和模型中需要使用的数据集,这个我们后面再讲。 MNIST的样本数据来自Yann LeCun的项目网站。如果网速比较慢的话,可以先用下载工具下载,然后放置到自己设置的数据目录,比如工作目录下的data文件夹,input_data检测到已有数据的话,不会重复下载。 下面是我们升级后显示训练样本集的源码,代码的讲解保留在注释中。如果阅读有疑问的,建议先去原文中看一下样本集数据结构的图示部分:
俺踏月色而来
2019-04-18
5220
TensorFlow从1到2(一)续讲从锅炉工到AI专家
原来引用过一个段子,这里还要再引用一次。是关于苹果的。大意是,苹果发布了新的开发语言Swift,有非常多优秀的特征,于是很多时髦的程序员入坑学习。不料,经过一段头脑体操一般的勤学苦练,发现使用Swift做开发,不仅要学习Swift,还要学习Swift2、Swift3、Swift4... 后来我发现,这个段子很有普遍性,并非仅仅苹果如此,今天的TensorFlow 2.0也有点这样的趋势。以至于我不得不专门写一个课程的续集,来面对使用新版本软件开始机器学习的读者。 事实上大多具有革命性的公司都是这样,一方面带来令人兴奋的新特征,另一方面则是高企不落的学习成本。
俺踏月色而来
2019-04-18
8720
从锅炉工到AI专家(11)(END)
语音识别 TensorFlow 1.x中提供了一个语音识别的例子speech_commands,用于识别常用的命令词汇,实现对设备的语音控制。speech_commands是一个很成熟的语音识别原型,有很高的正确率,除了提供python的完整源码,还提供了c/c++的示例程序,方便你移植到嵌入设备及移动设备中去。 官方提供了关于这个示例的语音识别教程。不过实际就是一个使用说明,没有对代码和原理做过多解释。 这个程序相对前面的例子复杂了很多,整体结构、代码、算法都可以当做范本,我觉得我已经没有资格象前面的
俺踏月色而来
2018-06-20
6450
从锅炉工到AI专家(4)
手写数字识别问题 图像识别是深度学习众多主流应用之一,手写数字识别则是图像识别范畴简化版的入门学习经典案例。在TensorFlow的官方文档中,把手写数字识别“MNIST”案例称为机器学习项目的“Hello World”。从这个案例开始,我们的连载才开始有了一些“人工智能”的感觉。 问题的描述是这样: 有一批手写数字的图片,对应数字0-9。通过机器学习的算法,将这些图片对应到文本字符0-9。用通俗的话来说,就是计算机认出了图片上面手写的数字。 从问题描述可见这个机器学习项目的“Hello World”
俺踏月色而来
2018-06-20
6470
从锅炉工到AI专家(5)
图像识别基本原理 从上一篇开始,我们终于进入到了TensorFlow机器学习的世界。采用第一个分类算法进行手写数字识别得到了一个91%左右的识别率结果,进展可喜,但成绩尚不能令人满意。 结果不满意的原因,当然还是算法太简单了。尽管我们都已经接受了“所有问题都可以用数学公式来描述”这个观点,但直接把一幅图片展开的784个数字作为方程式参数进行一个线性运算+非线性分类器就叫做“人工智能”怎么都感觉那么不靠谱...至于能得到91%不高的识别率,从这个意义上说,似乎都令人有点不太相信。这个不相信不是指91%太低了
俺踏月色而来
2018-06-20
6912
python scrapy 入门,10分钟完成一个爬虫
在TensorFlow热起来之前,很多人学习python的原因是因为想写爬虫。的确,有着丰富第三方库的python很适合干这种工作。 Scrapy是一个易学易用的爬虫框架,尽管因为互联网多变的复杂性仍然有很多爬虫需要自己编写大量的代码,但能够有一个相对全面均衡的基础框架,工作还是会少许多。 框架安装 不好意思用别人网站作为被爬取的例子,下面从头开始,以本站为例,开始一个简单的爬虫之旅。 因为习惯原因,本文均以python2作为工作环境。 scrapy框架的安装非常简单,只要一行命令,前提是你已经有
俺踏月色而来
2018-06-15
1.8K0
没有更多了
社区活动
腾讯技术创作狂欢月
“码”上创作 21 天,分 10000 元奖品池!
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档