判存服务在业务中的使用也比较广泛,比如运营人员在画像平台上圈选了“游戏高转化”人群,对于人群中的用户需要在客户端上显示游戏入口从而引导用户进入游戏宣传页并下载应用,该需求可以通过人群判存服务来实现。...图片以方案二为例,如何将人群数据写入Redis支持判存?...以UserId人群为例,使用BitMap实现人群判存的思路比较简单。...以DeviceId为例,在本章介绍规则圈选时提到可以通过编码的形式将所有DeviceId映射到数字ID,在人群圈选过程中通过该数字ID替代真实的DeviceId。...以北京市男性用户为例,前两种方案需要先实际圈选出人群,如果用户判存结果为真则代表其属于北京市男性用户;基于规则的判存只需要查询用户的常住省和性别标签值,如果结果中省份是北京市且性别是男性,那同样代表该用户属于北京市男性用户
整体来看,平台支持灵活的标签及人群创建方式,使用者按照自己的想法任意圈选出想要的人群,按不同周期手动或自动选出人群包。此外也支持人群的跟踪分析,人群在多场景的应用等。...支持灵活的标签及人群创建方式,让客户能按照自己的想法任意圈选出想要的人群,按不同周期手动或自动选出人群包,支持人群的跟踪分析、人群在多场景的应用能力。...4.2 人群包实时预估 人群包实时预估是根据使用者客户定义的规则,计算出当前规则下有多少用户命中了该规则。...4.2.3 数据查询 数据查询方式:人群圈选过程中,如何保障大的APP查询、在复杂规则情况下的查询速度?团队在导入过程中对预置画像、平台行为、自定义上报行为,均按相同分桶规则导入集群。...4.3 人群创建 4.3.1 人群实时创建 人群包实时创建类似上面描述的人群大小实时预估,区别是在最后人群创建是需要将圈选的人群包用户明细写入到存储中,然后返回人群包的大小给到用户。
使用画像宽表圈人的逻辑是从明细数据中找到满足条件的用户并最终构建人群,而使用BitMap进行圈人会对用户进行预聚合,在人群圈选时直接使用聚合后的结果进行计算。...首先将指定标签值下的所有用户聚合后生成BitMap,然后基于这些BitMap执行交、并、差操作实现人群筛选。图5-8展示了基于宽表和BitMap进行人群圈选的功能示意图,两种方式最终产出的人群相同。...BitMap特殊的数据结构决定了其适合做用户聚合并应用到人群圈选场景下。...BitMap来支持人群圈选。...业界一般使用混合模式,优先通过BitMap进行人群创建,不适用的场景下兜底使用画像宽表进行人群圈选。采用混合模式要考虑对齐画像宽表和BitMap的标签时间,这增加了工程的实现复杂度。
应用层:前端研发可以使用Vue搭建前端工程并开发可视化的画像平台功能;平台对外提供的服务均可以封装到SDK中,本书以Java语言为主,因此SDK主要以JAR(Java Archive,Java归档)包的形式存在...美团和滴滴的实现方案比较相似,在人群圈选中主要使用的是Elasticsearch和Spark引擎,Elasticsearch可以快速找到筛选逻辑比较简单的人群,当涉及复杂的圈选逻辑时可以降级为Spark...Apache Doris源于百度,在百度内部使用也比较广泛。百度内部用户画像相关圈选和分析基本都是基于Doris实现的。...知乎的画像圈选也借助了Doris,并把Spark作为一些特殊业务场景下人群圈选的计算引擎。...最近几年ClickHouse比较流行,今日头条DMP以及CDP均通过ClickHouse实现了人群圈选,借助ClickHouse的BitMap实现了人群圈选的提速;快手DMP在人群圈选场景下也借助ClickHouse
创建 在npm的官网上注册一个账号,https://www.npmjs.com/ 1:在本地通过npm init 初始化一个项目,并建一个index.js 文件,因为index.js为默认进入的文件,如下...: image-ab2ede5fb9d14ab8bb059eb63257c67c.png 2:在本地将该创建的项目打开,并在index.js编写想要写的文件(这里简单写一个排序),如下: image...-1dc4644452b844869943897ce6cfd223.png 3:接下来通过npm login来登录你之前创建的npm账号,如下: image-4841e3bdae0d4096a9f8fd6c903c0720...使用 npm install 包名 三....删除某个版本 npm unpublish 包名@版本号
创建 在npm的官网上注册一个账号,https://www.npmjs.com/ 1:在本地通过npm init 初始化一个项目,并建一个index.js 文件,因为index.js为默认进入的文件,如下...: 2:在本地将该创建的项目打开,并在index.js编写想要写的文件(这里简单写一个排序),如下: 3:接下来通过npm login来登录你之前创建的npm账号,如下: 4:npm pubish...使用 npm install 包名 三. 版本更新 更改版本号 重新发布 四. 删除某个版本 npm unpublish 包名@版本号
2.2.2 人群圈选:在构建人群圈选系统时,提供多样化的创建方式是满足不同业务需求的关键。...SQL查询:允许用户编写SQL查询来定义人群,提高灵活性。同步DMP人群包系统集成:与数据管理平台(DMP)集成,实现人群包的同步。数据映射:确保DMP中的人群信息可以正确映射到本系统的人群定义中。...这种整合可以减少数据孤岛,提高数据分析的效率和准确性。使用场景包括:人群圈选:在AB实验中,企业可能需要根据特定的行为数据来选择目标受众,这可以通过北极星埋点管理分析平台来实现。...例如,需要对某个人群包开放某个新功能,但是在正式上线前,我们不确定这个圈人策略是否合理,或不确定圈选的sql逻辑是否万无一失,如果一次性应用于整个人群,万一有问题,所有用户都会受到影响,所以需要灰度放量来将风险降到最低...另外当人群包圈选策略需要调整但线上服务又不方便修改人群ID时,可在标签系统进行人群替换,替换过程中也可灵活进行流量控制。人群数据如果出现问题还支持快速回滚到某个版本。
因此在标签使用场景,如何选择存储模型成为了核心问题。若使用宽表,将面临动态更新以及列拓展的挑战;而高表则面临复杂查询与嵌套逻辑的挑战。...数据量少的稀疏标签使用高表导入。导入效率:200+标签宽表4亿行+导入30min以内,高表标签导入5min以内。场景:用户人群圈选、用户画像分析。...货拉拉画像工程查询优化实践01DSL与SQL优化首先是离线人群包圈选的流程,主要分为三步:【运营通过平台进行多规则拼接,前端完成DSL构建】-【DSL经过服务后端优化】-【最终将业务规则自动转化为高效SQL...稳定性:高峰期人群计算时,内存占用高、网络传输量大,高内存开销影响集群稳定性。如何实现优化?DSL优化:条件合并(染色):将同类标记的标签条件合并为同个子查询。...后续,货拉拉将重点投入以下两个方面:接入画像实时业务:当前货拉拉画像服务的实时标签/人群点查主要使用Hbase和Redis,基于稳定性和迁移升级成本的考虑,Doris主要承担人群圈选、人群洞察、行为分析等作业
平台为业务人员提供海量标签,支持快速圈选目标人群,同时提供精细化人群画像洞察能力,联动多渠道进行推送,并支持人群效果的数据查看,助力业务人员进行全链路用户运营。...对标签体系建设感兴趣的,可查看草帽小子之前写的《如何构建标签体系?》《干货 | 阿里/网易/汽车之家画像标签体系》等文章进行深入了解,在此我就不再展开。...人群圈选:通过人群圈选可进行精细化用户分层,而用户分层是个性化营销的基础。画像平台支持标签组合、分群组合以及 ID 数据上传 3 种方式,适应营销人员在不同场景下的圈选需求。...人群营销:支持 push/短信/优惠券等方式进行定向用户营销,例如圈选北京 7 日活跃用户,推送中秋礼包活动,进行节日关怀;圈选解约业主,通过短信活动触达,进行业主召回;自如的人群包对接至家服 CRM...例如:圈选 “北京、近 7 天、找房行为次数>3 的用户” 给其推送了优惠券,监控其营销效果,可再次圈选对优惠券有点击行为的用户,对其发送使用提醒,或是给其赠送其他服务,从而实现更进一步细分人群的营销。
本节主要介绍人群创建所依赖的画像宽表的生成方式。为什么要创建画像宽表?基于原始的标签数据表进行人群圈选有什么问题?如何生成画像宽表?针对这些问题本节会给出详细解答。...宽表的表结构稳定,基于宽表进行的人群创建过程不受上游表变动影响 数据对齐 每个标签源数据表所能覆盖的用户范围不同,A标签仅覆盖日活用户、B标签仅覆盖新增用户、C标签覆盖全量用户,这三个标签混合使用时会造成数据混乱...本书技术方案支持多日期画像数据下的人群圈选等功能,自然兼容单日期下的各类功能。 画像宽表生成 画像宽表的表结构已经明确,那如何生成宽表数据?...如果画像平台用户对于人群圈选的速度没有要求,直接基于Hive表进行计算是可行的。...ClickHouse也比较擅长做宽表分析,基于这一特点可以把其作为Hive表的“缓存”使用,从而满足人群圈选和人群分析的提速。
以酒店预定后推荐周边景区的交叉推荐场景为例,转化成标签需求就是,近X天有酒店待入住订单,且无景区成功单,红包卡券账户中无未使用优惠券。...明确了人群需求后,数据的流程主要包括: 数据源准备: 圈选目标人群所需要的标签数据从哪里来?...(2)标签管理 标签资产的建设和管理是CDP平台的核心部分,没有标签再顺畅的流程、丝滑的体验,也不会有业务使用。...标签列表 标签生产 (3)场景管理 运营场景的构建是将业务运营动作拆解成数据标签、人群圈选需求,基于标签和判断条件,将用户划分成一个个精细化的人群包,不同人群承接差异化的运营策略。...人群画像的应用价值一是人群圈选过程中确定是否满足运营需求,二是事后效果分析时,不同特征用户进行对比分析。
1、业务背景 随着闲鱼业务的发展,用户规模达到数亿级,用户维度的数据指标,达到上百个之多。如何从亿级别的数据中,快速筛选出符合期望的用户人群,进行精细化人群运营,是技术需要解决的问题。...计算规格来构建人群圈选引擎。...人群圈选前台系统:提供可视化的操作界面。运营同学选择筛选条件,保存为人群,用于分析或者发送PUSH。每一个人群,对应一个SQL存储。...人群圈选系统为闲鱼精细化用户运营提供了强有力的底层能力支撑。同时,圈选人群,也可以应用到其他的业务场景,比如首页焦点图定投等需要分层用户运营的场景,为闲鱼业务提供了很大的优化空间。...5、未来 人群圈选引擎中的用户数据,我们目前是T+1导入的。这是考虑到人群相关的指标,变化频率不是很快,且很多指标(比如用户标签)都是离线T+1计算的,因此T+1的数据更新频度是可以接受的。
产品需求是基于这张宽表可以实现人群圈选功能:用户通过可视化的页面选择标签并配置筛选条件,系统可以快速找到满足条件的用户并生成人群。...可以通过Hive JDBC连接HiveServer并提交SQL语句,这种开发模式和使用传统的MySQL数据库比较相似,工程上可以快速上手且开发效率较高。解决了SQL执行问题,那查询结果如何存储为人群?...人群圈选的初衷是找到所有满足条件的用户,可以把用户筛选语句直接交由ClickHouse引擎执行。...为了满足Hive表形式的人群使用需求,后续还可以将人群BitMap落盘到人群结果Hive表中。...如图9-7所示,人群圈选功能的实现已经从单纯的Hive查询转变为ClickHouse查询优先、失败后Hive兜底的方式,人群圈选速度提升明显,人群产出时间从几十分钟降低到几分钟。
平台为业务人员提供海量标签,支持快速圈选目标人群,同时提供精细化人群画像洞察能力,联动多渠道进行推送,并支持人群效果的数据查看,助力业务人员进行全链路用户运营。...人群圈选:通过人群圈选可进行精细化用户分层,而用户分层是个性化营销的基础。画像平台支持标签组合、分群组合以及 ID 数据上传 3 种方式,适应营销人员在不同场景下的圈选需求。...人群营销:支持 push/短信/优惠券等方式进行定向用户营销,例如圈选北京 7 日活跃用户,推送中秋礼包活动,进行节日关怀;圈选解约业主,通过短信活动触达,进行业主召回;自如的人群包对接至家服 CRM...例如:圈选 “北京、近 7 天、找房行为次数>3 的用户” 给其推送了优惠券,监控其营销效果,可再次圈选对优惠券有点击行为的用户,对其发送使用提醒,或是给其赠送其他服务,从而实现更进一步细分人群的营销。...04 小结 本次分享到此结束,希望你通过本文的学习能了解,对于产品、运营、分析师、客服等各个角色掌握用户画像的重要性;并且掌握画像平台能力建设:标签体系、人群圈选、人群洞察、人群营销、营销效果、标准接口
下面介绍下常用的部分参数: 下面介绍一些具体的命令: 抓取指定网卡上的包,并以ASCII形式打印包内容: tcpdump -i eth0 -A 抓取指定网卡的包,并写入eth0-package.pcap...1.1.1.1的包,并打印 tcpdump -A -vvv -i eth0 dst host 1.1.1.1 # 抓取发送给1.1.1.1和2.2.2.2udp协议且端口为5060的包,然后打印包内容...,它用法与tcpdump差不多,下面介绍几个常用的方法: # 抓取eth0网卡上含有ip地址1.1.1.1的包 ngrep -d eth0 host 1.1.1.1 # 抓取eth0网卡上80端口的包,...F10 选择显示的列,比如把通话时间列出来。 - 总结 - 以上三个工具各有特点,可以根据自己喜好和场景选用适合自己的。不过本人在使用中更喜欢用tcpdump工具,因为它更通用,资源占用也更小。...比如在大量通话压测的场景,为了分析是应用瓶颈造成包没收到,还是因为网络丢包造成应用没收到。这种情况下就需要用到tcpdump工具实时的将SIP信令的包全部抓取,并写入文件。
1、在安装python的时候要把pip勾选上(默认安装方式已经为你勾选好了)。这样你就已经安装了pip。...2、打开命令提示符窗口 开始→所有程序→附件→运行(快捷键 Win+R),在对话框中输入cmd,回车确认即可 3.安装想要的包。...平常使用的过程中经常将其简写成np,在这里安装的时候不能简写,只能用numpy。...现在选择sklearn这个包做演示:输入pip install sklearn 可以看到最终结论是成功安装。...4.如果想要卸载这个包也很简单,输入pip uninstall sklearn 注意,运行到出现图中倒数第二行时会需要你输入y或n。如果确定卸载,就输入y,回车即可。结果显示成功卸载。
圈选对军事感兴趣的人群并用于Push应用背景:运营人员每天会整理当前俄乌冲突热门事件并通过Push推送给对军事感兴趣的用户,刚开始主要通过手动的方式在画像平台创建人群,然后导入到Push平台进行推送。...应用方式:调研人员通过画像平台LBS人群圈选功能找到了几所高校附近出现过的用户,并结合用户年龄段等标签提高了用户圈选的精确度。生成人群之后,私信平台可以通过接口拉取人群数据并进行私信推送。...应用方式:在画像平台上通过规则圈选创建女性用户人群A,通过文件导入的方式创建黑产用户人群B,通过组合人群的方式创建人群A与B的差集人群C。...使用人群拆分功能支持外呼对比实验应用背景:智能外呼团队为了测试不同话术在外呼效果上的差异,对于同一个外呼人群需要随机平均拆分成4个子人群,然后针对不同子人群中的用户采用不同话术进行外呼,最终通过对比外呼效果来选出最佳话术...人群判存在新功能引导上的使用应用背景:客户端应用中增加了网页小游戏功能模块,为了测试该模块的实际运行状况并评估用户的喜爱程度,产品经理希望前期仅面向种子人群开放小游戏功能入口。
这篇是自定义条件格式系列的第三篇,前两篇: Power BI如何自定义条件格式图标 Power BI自定义排名样式的条件格式 输入法可以调出表情包,UNICHAR可以显示表情包。...新建一个表情包的度量值也就易如反掌。...(128513),UNICHAR(128577)) 现在的问题是,表情包如何加到条件格式中,而不是单独的列呈现?...无论是输入法的表情,还是UNICHAR的表情,可以看作是一种文字(前期介绍过Power BI emoji 表情包词云)。文字目前无法作为Power BI的条件格式图标选项,但是图片可以。...所以,我们可以将表情包使用SVG的Text标签套壳,包装成图片,然后条件格式进行调用。上方的视频详细讲述了这一过程。
1、人群创建 人群创建即找到满足条件的用户并构建人群,根据圈选方式的不同可以分为规则、导入、组合、行为明细圈选等多种方式。...基于规则圈选创建人群:画像平台底层存在大量的画像标签,可以直接基于标签间的交、并、差操作进行人群圈选,比如圈选出常住省是北京且性别为男性的用户;最近一个月送礼次数超过5次且爱好军事的用户;常住省是天津或者上海...规则人群圈选是一种最常见、简单且易理解的人群圈选方式,图2-6展示了规则人群圈选的功能示意图,可以基于已有属性和用户行为数据进行人群创建。...基于行为明细的人群圈选:行为圈选是基于用户的行为明细数据进行圈选,其数据粒度较细且与时间紧密相关,基于这一特点,可以实现行为次数统计和行为序列圈选。...上面是几种常见的人群圈选方式,但是不同场景下对于人群圈选方式的要求不同,下面再介绍两种特殊场景下的人群圈选方式。 人群LookALike:人群LookALike是借助算法能力实现人群的放大与缩小。
原理就用 IDEA 是把 jar 包添加为 Libraries,然后展开后即可查看。 因为是编译后的 class 文件,所以注释是没有的。...还有一种方法是把 jar 包的扩展名改为 rar,然后用压缩工具打开可以查看里面的 class 文件。 正确打开方式如下: