规则圈选中所使用的画像标签数据是离线计算出来的，大部分在计算过程中剔除了很多明细信息，仅保留了最关键的画像内容，即某日某用户的标签值。...虽然画像数据是浓缩精简后的核心数据，但在很多人群圈选场景中依赖行为明细数据，比如运营人员希望找出2022-08-15 10:00:00到2022-08-15 12:00:00之间通过手机客户端点赞了某篇文章的用户...第一种使用Hive表导入，首先需要找到离线行为明细数据，然后将数据整理后写入到ClickHouse中；第二种直接消费实时行为数据并写入ClickHouse中，其圈选结果也更具时效性。...行为明细数据包含时间属性，可以计算出每一个用户按时间排序后的行为序列，基于该序列可以实现行为序列圈选。比如圈选出点赞文章后又分享文章的用户，找到收藏商品后最终购买了商品的用户。...在行为明细圈选时可以结合画像标签数据一起使用，比如找到在某时间段通过手机客户端点赞了某篇文章的北京市男性用户，可以直接关联画像宽表进行计算。
同时，通过规则客群的圈选能力实力客群的精细划分。用户数据分析：基于丰富的用户标签数据，CDP 平台提供用户画像洞察功能，支持实时效果评估和营销漏斗分析。...数据服务层则包括用户数据服务、客群圈选、营销策略、实时事件、 AB 实验和实时效果分析回收在内的全方位数据服务，满足各业务场景的数据需求。...随后，利用 Spark 作业将 DWS 层数据抽取到 Impala 中，进行离线的标签计算和客群的圈选。...客群圈选在架构 1.0 中，客群服务先生成动态 SQL，然后将其传输到 Impala 中进行客群圈选。完成圈选后，结果集需被重新读取回客群服务，并由其上传到对象存储中。...未来，我们计划在 3.0 版本中，实现离线标签和实时标签的混合圈选功能，并依托 Doris 进行 OneID 实时计算。
规则圈选是按照指定条件从画像数据中找到满足要求的用户并沉淀为人群的一种常见的人群创建方式。所谓的规则就是条件的组合，比如北京市男性用户，最近一周平均在线时长介于2到10分钟之间的中老年用户。...人群创建引擎读取到规则人群配置信息后，首先判断是否适合通过BitMap实现人群圈选，如果适合，可以获取标签的BitMap在内存中进行交、并、差操作；不适合BitMap实现的可以兜底通过ClickHouse...画像宽表进行人群筛选，其实现逻辑是将人群圈选条件转变为SQL语句，借助ClickHouse引擎查询出所有满足条件的UserId并构建人群；当ClickHouse执行异常时会再次兜底从Hive表中筛选用户...，同理，人群圈选条件最终转换为Hive SQL语句并最终将执行结果构建为人群。...基于BitMap和ClickHouse宽表生成的人群BitMap可以直接上传并保存到OSS中。
实时计算层：根据人群的筛选条件，从用户大宽表中，查询符合的用户数量和用户ID列表，为应用系统提供服务。 人群圈选前台系统：提供可视化的操作界面。...运营同学选择筛选条件，保存为人群，用于分析或者发送PUSH。每一个人群，对应一个SQL存储。...用SQL保存人群的方式，当用户表中的数据变更时，可以随时执行SQL，获取最新的人群用户，来更新人群。...闲鱼PUSH系统：从人群圈选前台系统中获取人群对应的where条件，再从实时计算层，分页获取用户列表，给用户发送PUSH。在实现过程中，我们重点解决了分页查询的性能问题。...人群圈选系统为闲鱼精细化用户运营提供了强有力的底层能力支撑。同时，圈选人群，也可以应用到其他的业务场景，比如首页焦点图定投等需要分层用户运营的场景，为闲鱼业务提供了很大的优化空间。
本节主要介绍人群创建所依赖的画像宽表的生成方式。为什么要创建画像宽表？基于原始的标签数据表进行人群圈选有什么问题？如何生成画像宽表？针对这些问题本节会给出详细解答。...当用户圈选需求涉及任意N天的用户行为时，只能通过存储历史标签数据来解决。 支持跨时间的人群分析。...如果画像平台用户对于人群圈选的速度没有要求，直接基于Hive表进行计算是可行的。...ClickHouse也比较擅长做宽表分析，基于这一特点可以把其作为Hive表的“缓存”使用，从而满足人群圈选和人群分析的提速。...为了解决这个问题也可以将标签拆分到两个小宽表中，与日期无关的标签单独放一张宽表且仅保留最新日期的数据；与日期有关的标签放到另外一张宽表中，且按日期保存一段时间的数据。
1、人群创建 人群创建即找到满足条件的用户并构建人群，根据圈选方式的不同可以分为规则、导入、组合、行为明细圈选等多种方式。...基于规则圈选创建人群：画像平台底层存在大量的画像标签，可以直接基于标签间的交、并、差操作进行人群圈选，比如圈选出常住省是北京且性别为男性的用户；最近一个月送礼次数超过5次且爱好军事的用户；常住省是天津或者上海...规则人群圈选是一种最常见、简单且易理解的人群圈选方式，图2-6展示了规则人群圈选的功能示意图，可以基于已有属性和用户行为数据进行人群创建。...基于行为明细的人群圈选：行为圈选是基于用户的行为明细数据进行圈选，其数据粒度较细且与时间紧密相关，基于这一特点，可以实现行为次数统计和行为序列圈选。...上面是几种常见的人群圈选方式，但是不同场景下对于人群圈选方式的要求不同，下面再介绍两种特殊场景下的人群圈选方式。 人群LookALike：人群LookALike是借助算法能力实现人群的放大与缩小。
圈选对军事感兴趣的人群并用于Push应用背景：运营人员每天会整理当前俄乌冲突热门事件并通过Push推送给对军事感兴趣的用户，刚开始主要通过手动的方式在画像平台创建人群，然后导入到Push平台进行推送。...应用方式：调研人员通过画像平台LBS人群圈选功能找到了几所高校附近出现过的用户，并结合用户年龄段等标签提高了用户圈选的精确度。生成人群之后，私信平台可以通过接口拉取人群数据并进行私信推送。...以此类推，针对特定场合如医院、公园、电影院、旅游景点都可以进行精细化的人群圈选。3....基于组合人群赠送优惠券应用背景：三八妇女节当天电商平台会给女性用户赠送商品优惠券，主要通过画像平台的规则圈选找出所有女性用户并构建人群，当用户位于人群中时则赠送优惠券。...应用方式：在画像平台上通过规则圈选创建女性用户人群A，通过文件导入的方式创建黑产用户人群B，通过组合人群的方式创建人群A与B的差集人群C。
明确了人群需求后，数据的流程主要包括： 数据源准备： 圈选目标人群所需要的标签数据从哪里来?...火车票订单、酒店订单、红包卡券数据 标签生产： 按照场景人群逻辑，清洗加工标签 人群圈选： 以标签为限定条件，从全量用户中过滤圈选出目标人群 用户触达： 将用户数据传输到营销通道，对用户进行触达 效果评估...： 回收效果数据，持续优化人群圈选条件 3.2 CDP产品架构 CDP(CustomerDataPlatform)是基于用户实时数据标签，精准圈选目标用户并快速输出数据服务的数据产品，充分融合了低代码...标签列表 标签生产 (3)场景管理 运营场景的构建是将业务运营动作拆解成数据标签、人群圈选需求，基于标签和判断条件，将用户划分成一个个精细化的人群包，不同人群承接差异化的运营策略。...(4)人群画像 不同人群的用户画像构成是怎么样的，不同特征的用户，对运营转化的效果是否相同呢?人群画像的应用价值一是人群圈选过程中确定是否满足运营需求，二是事后效果分析时，不同特征用户进行对比分析。
画像数据存储引擎是为了提高人群圈选速度，直接基于底层大数据原始表做人群圈选性能较差，需要借助画像数据存储引擎提高人群生产效率。...本节提到的技术选型主要偏重存储层涉及的画像引擎及画像分析相关技术方案，对应到功能层面上的人群圈选和画像分析功能。 阿里达摩盘是阿里妈妈广告投放平台，该平台可以进行人群圈选并应用于后续广告投放环节。...美团和滴滴的实现方案比较相似，在人群圈选中主要使用的是Elasticsearch和Spark引擎，Elasticsearch可以快速找到筛选逻辑比较简单的人群，当涉及复杂的圈选逻辑时可以降级为Spark...百度内部用户画像相关圈选和分析基本都是基于Doris实现的。知乎的画像圈选也借助了Doris，并把Spark作为一些特殊业务场景下人群圈选的计算引擎。...最近几年ClickHouse比较流行，今日头条DMP以及CDP均通过ClickHouse实现了人群圈选，借助ClickHouse的BitMap实现了人群圈选的提速；快手DMP在人群圈选场景下也借助ClickHouse
产品需求是基于这张宽表可以实现人群圈选功能：用户通过可视化的页面选择标签并配置筛选条件，系统可以快速找到满足条件的用户并生成人群。...ClickHouse作为缓存随着人群创建数目的增加，完全基于Hive表圈选人群的问题逐渐暴露出来：当人群集中创建时其产出效率较低。...ClickHouse主要应用在OLAP场景下，工程上考虑将作为Hive表的“缓存”来加速人群圈选的速度。人群圈选的初衷是找到所有满足条件的用户，可以把用户筛选语句直接交由ClickHouse引擎执行。...如图9-7所示，人群圈选功能的实现已经从单纯的Hive查询转变为ClickHouse查询优先、失败后Hive兜底的方式，人群圈选速度提升明显，人群产出时间从几十分钟降低到几分钟。...图9-8展示了基于BitMap进行人群圈选的实现逻辑。本文节选自《用户画像：平台构建与业务实践》，转载请注明出处。
基于这种单表结构，可以很容易筛选出满足条件的用户，比如找到所有常住省为山东的男性用户；人群分析功能可以基于表中的指定标签列进行聚合操作来实现，比如统计所有省份的用户分布情况。...这一特点决定了该模型不支持精细化的基于行为数据的画像圈选和分析，比如圈选出1号到4号点赞过某视频的用户。...但很多场景并不关注与时间相关的明细行为数据，比如DMP平台中人群圈选大部分都是使用离线标签，用户模型比较符合此类场景。 为什么要把标签数据汇总到一张宽表中？...基于用户－行为模型，可以结合用户属性类标签和行为标签实现更加复杂的人群圈选和分析功能，比如圈选出3月1日到3月24日之间，平均在线时长超过1000秒的河南省男性用户；针对给定人群，分析其从3月15日到3...基于行为明细数据可以实现更加细致的人群圈选和分析功能，比如圈选出3月1日到3月7日，中午12：00到14：00之间，使用Android系统进行登录的河南省女性用户；筛选出3月24日登录2小时之内发生了点赞行为的用户
平台为业务人员提供海量标签，支持快速圈选目标人群，同时提供精细化人群画像洞察能力，联动多渠道进行推送，并支持人群效果的数据查看，助力业务人员进行全链路用户运营。...04 用户画像平台能力 在平台建设层面，自如用户画像平台能力包含人群圈选，人群洞察、人群营销、营销效果分析，支持全链路定向用户营销。...人群圈选：通过人群圈选可进行精细化用户分层，而用户分层是个性化营销的基础。画像平台支持标签组合、分群组合以及 ID 数据上传 3 种方式，适应营销人员在不同场景下的圈选需求。...人群营销：支持 push/短信/优惠券等方式进行定向用户营销，例如圈选北京 7 日活跃用户，推送中秋礼包活动，进行节日关怀；圈选解约业主，通过短信活动触达，进行业主召回；自如的人群包对接至家服 CRM...04 小结 本次分享到此结束，希望你通过本文的学习能了解，对于产品、运营、分析师、客服等各个角色掌握用户画像的重要性；并且掌握画像平台能力建设：标签体系、人群圈选、人群洞察、人群营销、营销效果、标准接口
用户分层运营的方式一是基于运营的业务经验，将运营场景抽象成标签规则进行人群圈选和触达营销，另一个就是利用算法模型进行人货场的智能匹配。这两种运营方式各有什么优劣势呢?...最近CDP平台新增了很多算法挖掘的标签，扩展了基于算法模型直接输出目标人群的场景，通过AB对比，算法圈选的目标人群的转化效果要好于运营基于经验、规则人工圈选的效果。...有同学不禁问道，既然基于算法的运营过程不需要运营介入，省去人工圈选的动作，可以输出更精准的人群，转化效果更好，那是不是基于算法的智能运营可以取代基于经验的业务规则运营呢?...从上述案例可以看出，规则运营，需要具有具备良好的业务经验和一定的数据思维才能将目标用户识别条件标签化，主要特点如下： 优点 1.行动敏捷，明确运营场景以及人群圈选条件后，可以快速进行人群输出，是CDP平台运营可以自助圈选...2.基于模算法模型的人群圈选可以覆盖更多特征维度，用户分层能力更多样化、精细化。
使用画像宽表圈人的逻辑是从明细数据中找到满足条件的用户并最终构建人群，而使用BitMap进行圈人会对用户进行预聚合，在人群圈选时直接使用聚合后的结果进行计算。...首先将指定标签值下的所有用户聚合后生成BitMap，然后基于这些BitMap执行交、并、差操作实现人群筛选。图5-8展示了基于宽表和BitMap进行人群圈选的功能示意图，两种方式最终产出的人群相同。...BitMap特殊的数据结构决定了其适合做用户聚合并应用到人群圈选场景下。...基于宽表中全量用户的明细数据可以实现所有的人群圈选功能，但是采用BitMap方案的人群创建速度相比宽表模式可以提升50%以上。BitMap适用的标签类型和业务场景有限，要结合实际的数据进行判断。...业界一般使用混合模式，优先通过BitMap进行人群创建，不适用的场景下兜底使用画像宽表进行人群圈选。采用混合模式要考虑对齐画像宽表和BitMap的标签时间，这增加了工程的实现复杂度。
人群判存服务也被称为判定服务，即判断用户是否在指定的人群中。...判存服务在业务中的使用也比较广泛，比如运营人员在画像平台上圈选了“游戏高转化”人群，对于人群中的用户需要在客户端上显示游戏入口从而引导用户进入游戏宣传页并下载应用，该需求可以通过人群判存服务来实现。...全量更新相比增量更新不再需要计算新旧版本人群数据差异，只需将新版人群当成完整人群再次写入到Redis中。为了区分出新旧版本的人群数据，需要在Redis中保存人群版本信息。...以DeviceId为例，在本章介绍规则圈选时提到可以通过编码的形式将所有DeviceId映射到数字ID，在人群圈选过程中通过该数字ID替代真实的DeviceId。...以北京市男性用户为例，前两种方案需要先实际圈选出人群，如果用户判存结果为真则代表其属于北京市男性用户；基于规则的判存只需要查询用户的常住省和性别标签值，如果结果中省份是北京市且性别是男性，那同样代表该用户属于北京市男性用户
整体来看，平台支持灵活的标签及人群创建方式，使用者按照自己的想法任意圈选出想要的人群，按不同周期手动或自动选出人群包。此外也支持人群的跟踪分析，人群在多场景的应用等。...画像应用：提供基础标签分析及针对特定人群的标签分析，另外还提供人群圈选跟踪分析及线上应用等。...在功能设计上，平台需要做到数据丰富、规则灵活、查询快速，需要支持丰富的人群圈选数据，并且预置标签、人群标签、平台行为、自定义上报行为等。...支持灵活的标签及人群创建方式，让客户能按照自己的想法任意圈选出想要的人群，按不同周期手动或自动选出人群包，支持人群的跟踪分析、人群在多场景的应用能力。...4.4 人群跟踪应用 4.4.1 人群跟踪分析 在按照用户规则圈选出人群后，统一对人群进行常用指标（如活跃、交易等指标）的跟踪。
什么是RTARTA即Realtime API的简称，用于满足广告主实时个性化的投放需求，这里的实时是指API接口实时调用，比如定向人群包圈选可能都是T+1，甚至T+2。...2.广告主RTA人群圈选，营销目标，比如拉新、促活，用户分析。3.广告主离线算法模型，通过算法模型进行人群圈选输出。4.接口性能，因为API实时接口调用，接口调用要求较高，50ms-100ms。
人群管理模块技术挑战点有： 提供实时人群圈选的海量大数据OLAP技术； 提供超大规模数据处理技术。...人群管理模块主要功能有：线索管理、身份管理、潜客管理、人群管理、人群圈选、人群抽样、人群扩量、人群定向和客流洞察功能。 2.2. 营销策略模块 营销策略模块主要作用为营销自动化系统提供策略方案库。...三、 vivo营销自动化平台系统架构 3.1 系统架构 【网关层】Nginx负载均衡； 【服务层】主要部署的应用服务模块为人群圈选服务、活动配置服务，方案执行服务、投放服务、度量服务。...人群圈选：提供人群创建、人群管理、人群计算、人群定向功能； 活动配置：负责对接运营后台的管理配置业务，提供基础的配置能力和信息接口； 方案执行：负责活动真正的执行过程，包括活动触发和数据处理； 投放服务...在发布的过程就需要重视对系统的影响，尽可能做到无损发布，比如正在发布的时候，刚好同时在进行短信投放，此时必须保证发布过程不影响短信投放的数据完整性，可以通过应用重启的钩子函数进行端口重启的业务处理，也可以通过保存业务数据状态进行重试
其中优惠券获取条件也支持指定用户群体，即位于群体中的用户才可以领取优惠券，此处可以借助画像平台的人群创建和人群判存服务来实现。...合作方式：画像平台通过人群创建和人群判存等服务支持了该需求，电商服务团队需要提供商家圈选所需要的标签源数据。...商家主要通过规则圈选的方式找到满足条件的用户并配置优惠券，比如筛选出浏览过指定商品的高活跃女性用户，电商服务团队需要按业务需求明确标签范围并提供对应的标签源数据，所有标签通过画像平台标签管理模块进行注册并配置其支持人群圈选功能...优惠券发放平台借助画像平台元数据查询服务、人群创建服务和人群查询服务实现了规则圈选功能，商家可以直接通过可视化的功能创建人群并配置优惠券。...如果指定人群发送优惠券，那么判断当前用户是否在人群中依赖画像平台人群判存服务来实现。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
