Hierarchical Disentangled Representations

https://arxiv.org/abs/1804.02086

Abstract

Deep latent-variable models learn representa-tions of high-dimensional data in an unsuper-vised manner. A number of recent efforts havefocused on learning representations that disen-tangle statistically independent axes of varia-tion, often by introducing suitable modifica-tions of the objective function. We synthesizethis growing body of literature by formulatinga generalization of the evidence lower boundthat explicitly represents the trade-offs betweensparsity of the latent code, bijectivity of repre-sentations, and coverage of the support of theempirical data distribution. Our objective isalso suitable to learning hierarchical representa-tions that disentangle blocks of variables whilstallowing for some degree of correlations withinblocks. Experiments on a range of datasetsdemonstrate that learned representations con-tain interpretable features, are able to learn dis-crete attributes, and generalize to unseen com-binations of factors.

各种vae的比较！