首页
学习
活动
专区
圈层
工具
发布

NLP中对困惑度感到困惑?

炼丹笔记干货 作者:时晴 困惑度(Perplexity)在NLP中是个最流行的评估指标,它用于评估语言模型学的到底有多好.但是很多炼丹师可能至今对"困惑度"依然感到困惑,这篇就把这个讲清楚.假设我们要做个对话机器人...那就是困惑度了,它衡量了模型对自己预估结果的不确定性.低困惑度说明模型对自己很自信,但是不一定准确,但是又和最后任务的表现紧密相关.然后它又计算起来非常简单,用概率分布就可以计算. 困惑度如何算?...低困惑度不能保证模型更好.首先,正如我们在计算部分所看到的,模型最糟糕的困惑度是由语言的词汇量决定的。...第二,也是更重要的一点,困惑和所有内部评估一样,不提供任何形式的理智检查,同困惑度的模型也是有好有坏的。...困惑度应用 当使用“困惑”来评估在真实世界数据集(如one billion word benchmark)上训练的模型时,可以看到类似的问题。

1.3K10
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    AI教父Bengio:我感到迷失,对AI担忧已成「精神内耗」!

    Bengio在访谈中透出了一股浓浓的「忧郁风」,表示他对自己一生所追求的事业感到某种程度上的迷失。...他呼吁,我们应该对AI进行更严格地规范,举例来说,军方就绝对不应该被赋予使用AI的权力。 当然,政治机构也并不是对AI的发展熟视无睹。 欧盟可能就会是最早针对AI进行立法的组织。...但现在,因为这些担忧的存在,这些东西对他来说已经不再清晰。 「对于那些身在AI行业的人来说,这在情感上是具有挑战性的。」 不过,忧郁的背后仍然是积极的态度。 「你可以说我感到迷失。...而这正是他对人工智能风险深深地担忧。Hinton直言:「我对自己的毕生工作,感到非常后悔。」 从人工智能的开创者到末日预言者,Hinton的转变,也标志着科技行业正处于几十年来最重要的一个拐点。...我对我的毕生工作,感到十分后悔。 我只能这样安慰自己:即使没有我,也会有别人。 参考资料: https://www.bbc.com/news/technology-65760449

    18220

    2021-01-13:很多列的数据,任意一列组合查询,mysql....

    2021-01-13:很多列的数据,任意一列组合查询,mysql能做到,但是上亿的数据量做不到了,查的时候非常慢。我们需要一个引擎来支持它。这个引擎你有了解过吗?...问题中说的任意一列组合查询,针对上亿的数据量,最好采用基于列存储的 OLAP 场景业务的解决方案。...你这个是即席查询,也就是列随意组合。建议看列存MPP数据库,比如GBase 8a, GP等。 大数据量专注搜索可以考虑Elastic Search(ES)。...*** 2021-01-13:很多列的数据,任意一列组合查询,mysql能做到,但是上亿的数...如何回答呢?...2021-01-13:很多列的数据,任意一列组合查询,mysql能做到,但是上亿的数据量做不到了,查的时候非常慢。我们需要一个引擎来支持它。这个引擎你有了解过吗? 评论

    3.1K10

    【组合数学】组合数学简介 ( 组合数学脉络 | 组合数学技巧 | 组合思想 1 : 一一对应 )

    文章目录 一、组合数学脉络 二、组合数学思想 1 : 一一对应技巧 三、组合计数模型 与 一一对应 一、组合数学脉络 ---- 组合存在性问题 : 鸽巢原理 , Remsey 定理 ; 组合计数问题 :...: 生成算法 , 组合设计 ; 组合优化问题 : 最短路径问题 , 最小生成树 , 网络优化 ; 三个重要的组合思想 : 一一对应 数学归纳法 上下界逼近处理方法 二、组合数学思想 1 : 一一对应技巧...---- 一一对应技巧 : 将某种计数 转为 另外一种计数 , 另外一种计数有一个非常显然的结果 , 两种计数的个数是一样多的 ; 示例 1 : 3 \times 3 \times 3 的立方体...的 ; 示例 2 : n 个运动员比赛 , 淘汰赛制 , 需要多少次比赛 ; n-1 次 , 比赛次数 与 淘汰人数 一一对应 ; 三、组合计数模型 与 一一对应 ---- 计数方法 : 计数模型...与 实际问题 进行对应 ; 计数模型 : 选取问题 不定方程非负整数解问题 非降路径问题 整数拆分问题 放球问题 上述模型都是非常典型的组合计数模型 , 很多实际问题都可以与上述某个模型建立一一对应关系

    96200

    Power Query如何处理多列拆分后的组合?

    对于列的拆分一般使用的比较多,也相对容易,通过菜单栏上的拆分列就能搞定,那如果是多列拆分又希望能一一对应的话需要如何操作呢?...比较明显的是分级列,分隔符为全角字符下的逗号,而说明列则是换行符进行分列。2列分别是2种不同的分隔符进行的分割。如果直接在导入数据后对列进行分割会有什么样的效果呢?...但是这种分列效果肯定不是我们所希望,因为我们要的是组合对应的数据,所以得想办法先要进行组合,这里可以使用List.Zip进行组合,分列后的数据是列表格式,所以可以对2列数据分别进行分割后在进行组合,可以在添加列中使用如下代码...List.Zip ({ Text.Split([分级],","), Text.Split([说明],"#(lf)") }) 通过对文本进行拆分后并重新组合成新的列,然后展开列表得到图...4的结果,这时可以看到每组的数据已经是一一对应的了。

    2.8K20

    开发者对工具蔓延、数据滞后、长时间等待感到不满

    无论他们是否使用内部开发者门户,开发者仍然等待太久,他们仍然不信任数据质量,并且他们绝大多数对他们的工具不满意。内部开发者门户的状态无疑揭示了开发者在2025年的经历。...高达94%的受访者表示他们对自己的自助服务工具不满意,其中最大的挫折是: 创建云资源,48%的受访者提到。 确定合规性,44%。 搭建新服务或API,44%。...今年报告中最令人担忧的发现也许是开发人员对其组织标准的完全不清楚。 超过一半的受访者表示他们不知道这些标准,而另有三分之一的受访者则以神秘的“中立”回应。...由于标准对每个组织来说都是独一无二的,因此内部开发者门户通常被用作简化或强制合规的方式,以及提高对标准的认识。...“虽然许多组织使用类似的工具组合,但他们的开发人员应该如何使用这些工具——以及编码标准、生产质量的定义、合规性要求和法律法规——差异很大,”Armstrong 说。

    15610

    【组合数学】排列组合 ( 集合组合、一一对应模型分析示例 )

    文章目录 一、集合组合、一一对应模型分析示例 排列组合参考博客 : 【组合数学】基本计数原则 ( 加法原则 | 乘法原则 ) 【组合数学】集合的排列组合问题示例 ( 排列 | 组合 | 圆排列 | 二项式定理...) 【组合数学】排列组合 ( 排列组合内容概要 | 选取问题 | 集合排列 | 集合组合 ) 【组合数学】排列组合 ( 排列组合示例 ) 【组合数学】排列组合 ( 多重集排列 | 多重集全排列 | 多重集非全排列...所有元素重复度大于排列数 | 多重集非全排列 某些元素重复度小于排列数 ) 【组合数学】排列组合 ( 多重集组合数 | 所有元素重复度大于组合数 | 多重集组合数 推导 1 分割线推导 | 多重集组合数...、集合排列示例 | 集合排列、圆排列示例 ) 一、集合组合、一一对应模型分析示例 ---- 将 2n 个人分成 n 组 , 每组 2 人 , 有多少种分法 ?...2 组 , 选 2 个人 , \cdots 这种方案是 可以计算出来的 ; 分组没有区别 , 此时需要观察 分组有区别 和 没有区别 的差别 : 分组没有区别 , 得到一种方法 , 然后对

    1.2K00

    对平台工程感到陌生吗?尝试一个简洁的自助服务层

    对平台工程感到陌生吗?尝试一个简洁的自助服务层 在不创建复杂的新设置的情况下证明你的平台价值。 翻译自 New to Platform Engineering?...如果你无法对你的软件交付生命周期进行正式的用户体验研究,花些时间与开发人员交流,找出摩擦点。 一旦你选择了一个对软件模板有重大影响的使用案例,就开始与所有相关方进行协商。...毕竟,“黄金路径”对基础设施、可靠性、安全性、法律以及其他相关团队来说意味着不同的东西。 重要的是要提供一个足够健壮的自助服务操作;你不希望人们生成复杂的应用程序或配置错误的资源。...建立合理的标准和基线政策,使团队在部署到生产环境时感到满意,并使开发人员轻松自如。 然而,要注意不要过度规定。如果你试图推动一个过于严格的模板,开发人员可能会完全避免使用它。

    11710
    领券