TensorFlow团队:TensorFlow Probability的简单介绍

AiTechYun

编辑:yuxiangyu

在2018年TensorFlow开发者峰会上,我们(TensorFlow团队)宣布发布TensorFlow Probability:一种使机器学习研究人员及相关从业人员可以快速可靠地利用最先进硬件构建复杂模型的概率编程工具箱。TensorFlow Probability适用的情况包括:

  • 你想建立一个数据生成模型,推理其隐藏的过程。
  • 你需要量化预测中的不确定性,而不是预测单个值。
  • 你的训练集具有大量与数据点数量相关的特征。
  • 你的数据是结构化的 – 例如,使用组,空间,计算图或语言语义,并且你希望使用先验信息来获取这个结构。
  • 你有一个,如我们在开发者大会上所讨论的,依靠测量值重构等离子体的逆问题。

TensorFlow Probability为你提供解决这些问题的工具。此外,它还继承了TensorFlow的优势,例如自动微分,以及通过多种平台(CPU,GPU和TPU)扩展性能的能力。

什么是TensorFlow Probability?

我们的机器学习概率工具为TensorFlow生态系统中的概率推理和统计分析提供了模块化抽象。

TensorFlow Probability结构图。

第0层

TensorFlow的数值运算。特别是,LinearOperator类实现了matrix-free,可以利用特殊结构(对角、低秩等)进行高效计算。它由TensorFlow Probability团队构建和维护,现在是TensorFlow的核心,tf.linalg的一部分。

第1层:统计的构建模块

  • Distributions (tf.contrib.distributionstf.distributions):包含批量和广播语义的概率分布和相关统计的大量集合。
  • Bijectors(tf.contrib.distributions.bijectors):随机变量的可逆和可组合变换。Bijectors提供了丰富的变换分布的类,从经典的例子(如对数正态分布)到复杂的深度学习模型(如 masked autoregressive flows)。

(有关更多信息,请参阅:https://arxiv.org/abs/1711.10604)

第2层:模型构建

  • Edward2(tfp.edward2):一种将灵活的概率模型指定为程序的概率编程语言。
  • 概率层(tfp.layers):具有它们所代表函数不确定性的神经网络层,扩展了TensorFlow层。
  • 可训练分布(tfp.trainable_distributions):由单个张量参数化的概率分布,使建立输出概率分布神经网络变得容易。

第3层:概率推理

  • 马尔可夫链Monte Carlo(tfp.mcmc):通过抽样逼近积分的算法。包括HMC(Hamiltonian Monte Carlo)算法,随机游走Metropolis-Hastings,以及构建自定义转换内核的能力。
  • 变分推理(tfp.vi):通过优化来近似积分的算法。
  • 优化器(tfp.optimizer):随机优化方法,扩展TensorFlow优化器。包括Stochastic Gradient Langevin Dynamics。
  • 蒙特卡洛(tfp.monte_carlo):用于计算蒙特卡罗期望值的工具。

第4层:预制模型和推理(类似于TensorFlow预制的Estimators)

  • 贝叶斯结构的时间序列(即将推出):用于拟合时间序列模型的高级接口(即类似于R语言的BSTS包)。
  • 广义线性混合模型(即将推出):用于拟合混合效应回归模型(mixed-effects regression models)的高级接口(类似于R的lme4包)。

TensorFlow Probability团队致力于通过尖端功能,持续代码更新和错误修复来支持用户和贡献者。我们将继续添加端到端的示例和教程。

示例:

使用EDWARD2构建线性混合效应模型

线性混合效应模型是一种对数据中结构化关系进行建模的简单方法。也称为等级线性模型(hierarchical linear model),它共享统计的各组数据点的强度,以改进对单个数据点的推理。

作为演示,我们使用R中流行的lme4包中的InstEval数据集,它由大学课程及其评级组成。使用TensorFlow Probability,我们将模型指定为Edward2概率程序(tfp.edward2,继承自Edward)。下面的程序根据其生成过程对模型进行具体化。

import tensorflow as tf
from tensorflow_probabilityimport edward2 as ed
def model(features):
  # Set up fixed effects and other parameters.
  intercept= tf.get_variable("intercept", [])
  service_effects= tf.get_variable("service_effects", [])
  student_stddev_unconstrained= tf.get_variable(
      "student_stddev_pre", [])
  instructor_stddev_unconstrained= tf.get_variable(
      "instructor_stddev_pre", [])
  # Set up random effects.
  student_effects= ed.MultivariateNormalDiag(
      loc=tf.zeros(num_students),
      scale_identity_multiplier=tf.exp(
          student_stddev_unconstrained),
      name="student_effects")
  instructor_effects= ed.MultivariateNormalDiag(
      loc=tf.zeros(num_instructors),
      scale_identity_multiplier=tf.exp(
          instructor_stddev_unconstrained),
      name="instructor_effects")
  # Set up likelihood given fixed and random effects.
  ratings= ed.Normal(
      loc=(service_effects* features["service"]+
           tf.gather(student_effects, features["students"])+
           tf.gather(instructor_effects, features["instructors"])+
           intercept),
      scale=1.,
      name="ratings")
return ratings

该模型将“服务”,“学生”和“教师”的特征字典作为输入;这是每个元素描述单个课程的向量。模型对这些输入进行回归,假定潜在的随机变量,并返回课程评级的分布。在此输出上运行的TensorFlow会话将返回生成的评级。

使用TFP BIJECTORS构建高斯COPULA函数

Copula是多元概率分布,每个变量的边际概率分布是均匀的。要使用TFP内联函数构建copula,可以使用Bijectors和TransformedDistribution。这些抽象可以轻松创建复杂的分布,如:

import tensorflow_probability as tfp
tfd= tfp.distributions
tfb= tfp.distributions.bijectors
# Example: Log-Normal Distribution
log_normal= tfd.TransformedDistribution(
    distribution=tfd.Normal(loc=0., scale=1.),
    bijector=tfb.Exp())
# Example: Kumaraswamy Distribution
Kumaraswamy= tfd.TransformedDistribution(
    distribution=tfd.Uniform(low=0., high=1.),
    bijector=tfb.Kumaraswamy(
        concentration1=2.,
        concentration0=2.))
# Example: Masked Autoregressive Flow
# https://arxiv.org/abs/1705.07057
shift_and_log_scale_fn= tfb.masked_autoregressive_default_template(
    hidden_layers=[512,512],
    event_shape=[28*28])
maf= tfd.TransformedDistribution(
    distribution=tfd.Normal(loc=0., scale=1.),    
    bijector=tfb.MaskedAutoregressiveFlow(
        shift_and_log_scale_fn=shift_and_log_scale_fn))

高斯copula创建一些自定义Bijectors,然后又展示了如何轻松地建立多个不同的Copula函数。

使用TFP构建变分自动编码器

变分自动编码器是一种机器学习模型,它使用一个学习系统来表示一些低维空间中的数据,并且使用第二学习系统来将低维表示还原为原本的输入。由于TF支持自动微分,因此黑盒变分推理简直就是小case!例如:

import tensorflow as tf
import tensorflow_probability as tfp
# Assumes user supplies `likelihood`, `prior`, `surrogate_posterior`
# functions and that each returns a
# tf.distribution.Distribution-like object.
elbo_loss= tfp.vi.monte_carlo_csiszar_f_divergence(
    f=tfp.vi.kl_reverse, # Equivalent to "Evidence Lower BOund"
    p_log_prob=lambda z: likelihood(z).log_prob(x)+ prior().log_prob(z),
    q=surrogate_posterior(x),
    num_draws=1)
train= tf.train.AdamOptimizer(
    learning_rate=0.01).minimize(elbo_loss)

详细信息,请查看我们的变分自动编码器示例!

具有TFP概率层的贝叶斯神经网络

贝叶斯神经网络是在其权重和偏置上具有先验分布的神经网络。它通过这些先验提供了更多不确定性。贝叶斯神经网络也可以解释为神经网络的无限集合:它依据先验分配每个神经网络结构概率。

作为示范,我们使用CIFAR-10数据集:特征(形状为32 x 32 x 3的图像)和标签(值为0到9)。为了拟合神经网络,我们将使用变分推理(这是一套逼近神经网络权重和偏置的后验分布的方法)。也就是说,我们使用TensorFlow Probabilistic Layers模块(tfp.layers)中最近发布的Flipout estimator。

import tensorflow as tf
import tensorflow_probability as tfp
def neural_net(inputs):
  net= tf.reshape(inputs, [-1,32,32,3])
  net= tfp.layers.Convolution2DFlipout(filters=64,
                                        kernel_size=5,
                                        padding='SAME',
                                        activation=tf.nn.relu)(net)
  net= tf.keras.layers.MaxPooling2D(pool_size=2,
                                     strides=2,
                                     padding='SAME')(net)
  net= tf.reshape(net, [-1,8 * 8 * 64])
  net= tfp.layers.DenseFlipout(units=10)(net)
  return net
# Build loss function for training.
logits= neural_net(features)
neg_log_likelihood= tf.nn.softmax_cross_entropy_with_logits(
    labels=labels, logits=logits)
kl= sum(tf.get_collection(tf.GraphKeys.REGULARIZATION_LOSSES))
loss= neg_log_likelihood+ kl
train_op= tf.train.AdamOptimizer().minimize(loss)

neural_net函数在输入张量上组建神经网络层,并且针对概率卷积层和概率稠密层执行随机前向迭代。该函数返回输出张量,它的形状具有批量大小和10个值。张量的每一行代表了logits(无约束概率值),即每个数据点属于10个类中的一个。

对于训练,我们建立损失函数,它包括两项:预期的负的对数似然和KL散度。我们通过蒙特卡罗近似预期的负对数似然。而KL散度作为层的参数,通过正则化项添加。

tfp.layers也可以用于使用tf.keras.Model类的eager execution (可以立即评估操作并且无需额外图形构建步骤)。

view source

class MNISTModel(tf.keras.Model):
  def __init__(self):
    super(MNISTModel,self).__init__()
    self.dense1= tfp.layers.DenseFlipout(units=10)
    self.dense2= tfp.layers.DenseFlipout(units=10)
  def call(self,input):
    """Run the model."""
    result= self.dense1(input)
    result= self.dense2(result)
    # reuse variables from dense2 layer
    result= self.dense2(result) 
    return result
model= MNISTModel()

入门

要开始在TensorFlow中进行概率机器学习,请运行:

pip install--user--upgrade tfp-nightly

对于所有的代码和细节,请在http://www.atyun.com/网站查看。

原文发布于微信公众号 - ATYUN订阅号(atyun_com)

原文发表时间:2018-04-17

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏人工智能

机器学习(五)——k-近邻算法进一步探究

机器学习(五) ——k-近邻算法进一步探究 (原创内容,转载请注明来源,谢谢) 一、概述 现采用k-近邻算法,进行分类应用。数据源采用《机器学习实战》提供的数据...

20310
来自专栏计算机视觉战队

结合人类视觉注意力进行图像分类

注:昨天推送发现内容有一个严重错误,所以临时删除了文章的链接,希望关注的您能够谅解,我们也是希望推送最完整最准确的内容,谢谢您的支持与关注,谢谢! 好久没有和大...

8556
来自专栏人工智能头条

放弃 RNN/LSTM 吧,因为真的不好用!望周知~

2726
来自专栏智能算法

10 种机器学习算法的要点(附 Python 和 R 代码)

本文由 伯乐在线 - Agatha 翻译,唐尤华 校稿。 英文出处:SUNIL RAY。欢迎加入翻译组。 前言 谷歌董事长施密特曾说过:虽然谷歌的无人驾驶汽车和...

4585
来自专栏人工智能LeadAI

时间序列异常检测 EGADS Surus iForest

时间序列异常检测 (原文链接:http://wurui.cc/tech/time-series-anomaly-detection/) 本文总结了我在时间序列异...

1.5K4
来自专栏智能算法

Yoshua Bengio等大神传授:26条深度学习经验

原文地址:http://www.marekrei.com/blog/26-things-i-learned-in-the-deep-learning-summe...

3776
来自专栏机器之心

资源 | 概率编程工具:TensorFlow Probability官方简介

选自Medium 作者:Josh Dillon、Mike Shwe、Dustin Tran 机器之心编译 参与:白妤昕、李泽南 在 2018 年 TensorF...

4896
来自专栏大数据文摘

论文Express | 自然语言十项全能:转化为问答的多任务学习

Salesforce最新论文提出了一个可处理多项自然语言处理的通用模型:decaNLP,处理机器翻译、文本分类等NLP任务统统不在话下!

1422
来自专栏Python中文社区

Python机器学习工具:Scikit-Learn介绍与实践

Scikit-learn 简介 官方的解释很简单: Machine Learning in Python, 用python来玩机器学习。 什么是机器学习 机...

2147
来自专栏数据科学与人工智能

【算法】10 种机器学习算法要点

小编邀请您,先思考: 1 你熟悉那些机器学习算法? 2 你如何应用机器学习算法? 前言 谷歌董事长施密特曾说过:虽然谷歌的无人驾驶汽车和机器人受到了许多媒体关注...

3789

扫码关注云+社区

领取腾讯云代金券