首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

CNN神经网络内部知识表达的“黑”与“白“

文题中的“黑”与“白”指的是神经网络的black-box的知识表达和我希望的white-box的可解释性模型。...作为博后研究员,我在UCLA带领几个学生探索一种语义层面可解释的神经网络特征表达,或者把black-box网络特征表达转化成white-box图模型。...相比之下,传统的white-box图模型往往不存在这样的问题。因为传统图模型中,每个节点本身往往具有某种语义。...那么,我们在white-box表达和模型的performance上如何取舍呢?没有答案。对于工业界来说,这个问题很简单,毋庸置疑算法的效果决定一切。 然而对于学术研究来说,梦想总是还要有的。...如何能够找到一种white-box的表达方式,同时又具有神经网络表达的flexibility和信息效率,这是一个很难的问题。很多人说这是不可能的,给出不少理由,而且很多理由是很有道理的。

83280
您找到你想要的搜索结果了吗?
是的
没有找到

大语言模型综述全新出炉:51页论文带你盘点LLM领域专业化技术

这些类别对应于对 LLM 的不同访问级别,即无访问权限(黑箱 Black-Box)、部分访问权限(灰箱 Grey-Box)和全访问权限(白箱 White-Box)。...Grey-Box 表示我们有限的信息(例如,GPT-3 API 中生成 token 的概率),这些信息可以指导我们设计一个合适的 prompt 以更好地引出领域知识(图 2.c);而 White-Box...不同类别方法之间的关系 不同级别的专业化:每种方法在不同级别的专业化(即,Black-Box、Grey-Box 和 White-Box)上进行操作。...例如,一个模型可能以黑箱方法开始,利用外部资源来增强 input Prompt,然后进一步利用梯度或损失值来改进提示的灰箱方法,最后采用 White-Box 方法根据已学习的策略和反馈来对模型进行微调。

1.4K41
领券