首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

使用 Spark, LSH 和 TensorFlow 检测图片相似性

作为一个视觉数据处理平台,拥有从海量图片中学习并理解其内容的能力是非常重要的。为了检测几近重复的相似图片,我们使用了一套基于 Spark 和 TensorFlow 的数据流处理系统——NearDup。这套系统的核心由一个使用 Spark 实现的批量化 LSH(locality-sensitive hashing,局部敏感哈希)搜索器和一个基于 TensorFlow 的分类器构成。这个数据流处理系统每天能够比较上亿个分析对象,并渐进式地完成各个图像类别的信息更新。在本文中,我们将讲解如何使用这项技术更好地理解海量图片内容,从而使得我们产品前端界面的推荐内容和搜索结果具有更高的信息准确性、更大的数据密度。

02

A*寻路初探(转载)

译者序:很久以前就知道了A*算法,但是从未认真读过相关的文章,也没有看过代码,只是脑子里有个模糊的概念。这次决定从头开始,研究一下这个被人推崇备至的简单方法,作为学习人工智能的开始。 这篇文章非常知名,国内应该有不少人翻译过它,我没有查找,觉得翻译本身也是对自身英文水平的锻炼。经过努力,终于完成了文档,也明白的A*算法的原理。毫无疑问,作者用形象的描述,简洁诙谐的语言由浅入深的讲述了这一神奇的算法,相信每个读过的人都会对此有所认识(如果没有,那就是偶的翻译太差了--b)。 原文链接:http://www.gamedev.net/reference/articles/article2003.asp以下是翻译的正文。(由于本人使用ultraedit编辑,所以没有对原文中的各种链接加以处理(除了图表),也是为了避免未经许可链接的嫌疑,有兴趣的读者可以参考原文。

01

好文速递:应用于卫星遥感的地统计模拟模型综述:方法与应用

摘要:尽管星载,机载和地面数据采集平台的数量不断增加,但遥感数据仍常常在空间上不完整或在时间上是不规则的。尽管经常使用确定性插值技术,但它们倾向于创建不切实际的空间模式,并且通常不提供不确定性量化。地统计模拟模型可有效地生成未测量现象的现实且同等可能的整体,从而传播数据不确定性。这些模型通常在地球科学的多个领域中使用,并且近年来,它们已广泛应用于遥感数据。这项研究对地统计学模拟在遥感数据中的应用进行了首次综述。我们回顾了与卫星遥感数据有关的最新地统计模拟模型,并讨论了每种方法的特征和优势。最后,每种地统计学模拟模型的应用都归类于自然科学的不同领域,包括土壤,植被,地形和大气科学。

03

超实用总结:AI实践者需要用到的10个深度学习方法

大数据文摘作品 编译:小鱼、肖依月、高宁、Aileen 在过去十年里,大众对机器学习的兴趣与日俱增。几乎每天都可以在计算机科学程序、行业会议和华尔街日报上看到机器学习的身影。在所有关于机器学习的讨论中,很多都将“机器学习的作用”和“人类希望机器学习能够做什么”这两个观念混为一谈。从根本上说,机器学习是使用算法从原始数据中提取信息,并用某种模型进行表示,然后对于一些我们尚未建模的数据,使用模型来进行推断。 神经网络是机器学习模型的一种,而且已经存在了至少50年了。神经网络的基本单元是节点,源于哺乳动物大脑中的

04

EEG/ERP研究中使用头皮表面拉普拉斯算法的问题和考虑

尽管表面拉普拉斯算法可能抵消的容积传导和对表面电位数据记录参考的不利影响,电生理学学科一直不愿采用这种方法进行数据分析。这种顾虑的原因是多方面的,往往涉及到对潜在转换性质的不熟悉、感知到的数学复杂性的威胁,以及对信号损失、密集电极排列需求或噪声敏感性的担忧。我们回顾了容积传导和允许任意选择脑电参考所引起的缺陷,以一种直观的方式描述了表面拉普拉斯变换的基本原理,并举例说明了常见参考模式(鼻子、连接乳突、平均)和用于频繁测量的EEG频谱(theta, alpha)以及标准ERP成分(如N1或P3)的表面拉普拉斯转换之间的差异。我们特别回顾了表面拉普拉斯算法普遍应用中的一些常见的局限,这些局限可以通过适当选择样条弹性参数和正则化常数进行球面样条内插来有效地解决。我们从实用主义的角度认为,这些局限不仅是没有根据的,而且一直使用表面电位对脑电图和ERP研究的进展构成了相当大的障碍。本文发表在International Journal of Psychophysiology杂志。

03
领券