首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

腾讯云 AI 视觉产品基于流计算 Oceanus(Flink) 计费数据去重尝试

AI 视觉产品在我们腾讯云-人工智能的产品目录下,包括人脸识别、人脸特效、人脸核身、图像识别、文字识别等。 流计算 Oceanus 在腾讯云-大数据的产品目录下,是基于 Apache Flink 构建的企业级实时大数据分析平台。 AI 视觉产品是按调用量计费,毕竟涉及到钱,用户对计量数据准确是非常敏感的; 另外调用量本身也比较大,如何保证数据的准确一致也是一个比较大的挑战。 数据不准: 主要包括数据丢失和数据重复(当然可能有其他问题比如上报的数据本身错误等,暂不属于本次讨论范围)。 数据丢失: 相当于调用量少算,会影响我们的收入。一方面我们通常重试、持久化等方式尽量减少数据的丢失,目标当然是完全不丢,但很难做到100%不丢。另一方面很少量的数据丢失对于实际收入影响很小,对用户基本没有影响。 数据重复: 相当于调用量多算就会多收用户钱,用户一旦发现肯定会投诉过来。所以是必须要去解决的,但是数据量很大,要做到精确去重比较难。

04

利用机器学习和功能连接预测认知能力

使用机器学习方法,可以从个体的脑功能连通性中以适度的准确性预测认知表现。然而,到目前为止,预测模型对支持认知的神经生物学过程的洞察有限。为此,特征选择和特征权重估计需要是可靠的,以确保具有高预测效用的重要连接和环路能够可靠地识别出来。我们全面研究了基于健康年轻人静息状态功能连接网络构建的认知性能各种预测模型的特征权重-重测可靠性(n=400)。尽管实现了适度的预测精度(r=0.2-0.4),我们发现所有预测模型的特征权重可靠性普遍较差(ICC<0.3),显著低于性别等显性生物学属性的预测模型(ICC≈0.5)。较大的样本量(n=800)、Haufe变换、非稀疏特征选择/正则化和较小的特征空间略微提高了可靠性(ICC<0.4)。我们阐明了特征权重可靠性和预测精度之间的权衡,并发现单变量统计数据比预测模型的特征权重稍微更可靠。最后,我们表明,交叉验证折叠之间的特征权重度量一致性提供了夸大的特征权重可靠性估计。因此,如果可能的话,我们建议在样本外估计可靠性。我们认为,将焦点从预测准确性重新平衡到模型可靠性,可能有助于用机器学习方法对认知的机械性理解。

03
领券