首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

专访 | 追一科技首席科学家杨振宇:对话机器人里不能「耳闻目览」却又「无所不在」的 AI

机器之心原创 作者:邱陆陆 对话机器人是「怎样炼成的」。 相比于语音和图像,自然语言是一个有「更多需求」和「更少标准答案」的领域。扎根自然语言的公司通常也不是从技术和方法出发,而是选择一个具体的需求,然后用所有可能的方法解决它。追一就是这样的一家公司,它瞄准的是「对话机器人」这个领域,把问题分类、分解、逐个建立准确高效的机器人,再有序集成起来。三月,机器之心有幸在深圳追一科技总部对首席科学家杨振宇进行了采访,我们仔细聊了聊「对话机器人是怎样炼成的」,以及在他眼里,深度学习与自然语言最好的结合方式是怎样的。

09

深度模型的优化参数初始化策略

有些优化算法本质上是非迭代的,只是求解一个解点。有些其他优化算法本质上是迭代的,但是应用于这一类的优化问题时,能在可接受的时间内收敛到可接受的解,并且与初始值无关。深度学习训练算法通常没有这两种奢侈的性质。深度学习模型的训练算法通常是迭代的,因此要求使用者指定一些开源迭代的初始点。此外,训练深度模型的训练算法通常是迭代的问题,以至于大多数算法都很大程度地受到初始化选择的影响。初始点能够决定算法是否收敛时,有些初始点十分不稳定,使得该算法会遭遇数值困难,并完全失败。当学习收敛时,初始点可以决定学习收敛得多快,以及是否收敛到一个代价高或低的点。此外,差不多代价的点可以具有区别极大的泛化误差,初始点也可以影响泛化。

03
领券