机器学习算法需要大量的有标注的样本数据,对于图像分类,经常需要使用上千万张有标注的图像来进行训练。对于语音识别,需要成千上万小时有标注的语音数据。对于机器翻译,通常是在千万量级的双语语对上进行训练。但是很多领域却无法收集大数据,一是因为实例过少,例如医疗方面的疑难杂症;二是由于过于抽象,例如几何研究中的高维流形等。
机器学习算法中的深度神经网络需要数十亿个参数,需要昂贵的硬件支持和漫长的计算时间,训练难度很大。机器学习算法等价于能量优化。由于规模庞大,无法用二阶优化,因而一般是用随机梯度下降法。由于深度神经网络层数过深,经常出现梯度消失和梯度爆炸的问题,因此训练过程收敛困难。
目前,以神经网络为代表的统计机器学习在工程实践中取得了成功,但是其理论基础非常薄弱,被人们称为黑箱算法。人工智能算法的不可解释性,极大地阻碍了这一领域的进一步应用和发展。深度学习理论的建立,应该是目前最为迫切的问题。
人类的智能主要包括归纳总结和逻辑演绎,对应着人工智能中的联结主义和符号主义。人类对大量的视觉听觉信号的感知处理都是下意识的,是基于大脑皮层神经网络的学习方法;大量的数学推导和定理证明是有强烈主观意识的,是基于公理系统的符号演算方法。
领取专属 10元无门槛券
私享最新 技术干货