MMD_2a_FindSimilarSets

概述

application

there are many data-mining problems which can be expressed as finding similar sets, such as:

  • pages with similar words, e.g., for classification by topic
  • recommendation systems, classification by people or movie
  • entity resolution, different informs all point to one person

essential parts

shingling

minhashing

jaccard similarity measure

matrix represent

minihash

总体步骤

例子

性质

签名的相似性

implementation

将对矩阵的转置操作用不同的hash函数代替。

LSH

LSH means locality-sensitive hashing.

概述

  • general idea: generate from the collection of all elements (signatures in our examples) a small list of candidates pairs : pairs of elements whose similarity must be evaluated.
  • for signature matrices: hush columns to many buckets, and make elements of the same bucket candidate pairs.

候选pairs的规则

LSH具体阐述

例子

概率分析

总结

得到更多的signature(但是会有更多的空间占用与计算),可以有更大的b和r,能够获得更step的函数。

LSH Application

entity resolution

fingerprint

similar news articles

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏hbbliyong

WPF Trigger for IsSelected in a DataTemplate for ListBox items

<DataTemplate DataType="{x:Type vm:HeaderSlugViewModel}"> <vw:HeaderSlug...

4224
来自专栏我和未来有约会

Kit 3D 更新

Kit3D is a 3D graphics engine written for Microsoft Silverlight. Kit3D was inita...

2936
来自专栏大内老A

The .NET of Tomorrow

Ed Charbeneau(http://developer.telerik.com/featured/the-net-of-tomorrow/) Exciti...

39110
来自专栏java 成神之路

使用 NIO 实现 echo 服务器

5607
来自专栏陈仁松博客

ASP.NET Core 'Microsoft.Win32.Registry' 错误修复

今天在发布Asp.net Core应用到Azure的时候出现错误InvalidOperationException: Cannot find compilati...

5238
来自专栏转载gongluck的CSDN博客

cocos2dx 打灰机

#include "GamePlane.h" #include "PlaneSprite.h" #include "BulletNode.h" #include...

7246
来自专栏张善友的专栏

Silverlight + Model-View-ViewModel (MVVM)

     早在2005年,John Gossman写了一篇关于Model-View-ViewModel模式的博文,这种模式被他所在的微软的项目组用来创建Expr...

3308
来自专栏跟着阿笨一起玩NET

c#实现打印功能

3742
来自专栏pangguoming

Spring Boot集成JasperReports生成PDF文档

由于工作需要,要实现后端根据模板动态填充数据生成PDF文档,通过技术选型,使用Ireport5.6来设计模板,结合JasperReports5.6工具库来调用渲...

1.4K7
来自专栏Ceph对象存储方案

Luminous版本PG 分布调优

Luminous版本开始新增的balancer模块在PG分布优化方面效果非常明显,操作也非常简便,强烈推荐各位在集群上线之前进行这一操作,能够极大的提升整个集群...

3675

扫码关注云+社区