规则圈选中所使用的画像标签数据是离线计算出来的，大部分在计算过程中剔除了很多明细信息，仅保留了最关键的画像内容，即某日某用户的标签值。...虽然画像数据是浓缩精简后的核心数据，但在很多人群圈选场景中依赖行为明细数据，比如运营人员希望找出2022-08-15 10:00:00到2022-08-15 12:00:00之间通过手机客户端点赞了某篇文章的用户...第一种使用Hive表导入，首先需要找到离线行为明细数据，然后将数据整理后写入到ClickHouse中；第二种直接消费实时行为数据并写入ClickHouse中，其圈选结果也更具时效性。...行为明细数据包含时间属性，可以计算出每一个用户按时间排序后的行为序列，基于该序列可以实现行为序列圈选。比如圈选出点赞文章后又分享文章的用户，找到收藏商品后最终购买了商品的用户。...在行为明细圈选时可以结合画像标签数据一起使用，比如找到在某时间段通过手机客户端点赞了某篇文章的北京市男性用户，可以直接关联画像宽表进行计算。
CDP 平台架构的演进历程在初步了解了 CDP 平台的建设初衷和解决方案之后，我们将深入挖掘其演进历程，探索它如何逐步蜕变为众安保险统一、高效且不可或缺的核心基础设施。...数据服务层则包括用户数据服务、客群圈选、营销策略、实时事件、 AB 实验和实时效果分析回收在内的全方位数据服务，满足各业务场景的数据需求。...随后，利用 Spark 作业将 DWS 层数据抽取到 Impala 中，进行离线的标签计算和客群的圈选。...客群圈选在架构 1.0 中，客群服务先生成动态 SQL，然后将其传输到 Impala 中进行客群圈选。完成圈选后，结果集需被重新读取回客群服务，并由其上传到对象存储中。...未来，我们计划在 3.0 版本中，实现离线标签和实时标签的混合圈选功能，并依托 Doris 进行 OneID 实时计算。
本节主要介绍人群创建所依赖的画像宽表的生成方式。为什么要创建画像宽表？基于原始的标签数据表进行人群圈选有什么问题？如何生成画像宽表？针对这些问题本节会给出详细解答。...SELECTuser_idFROMuserprofile_demo.province_labelWHEREprovince = '河北省') t2 ON (t1.user_id = t2.user_id) 如果在河北省男性用户的基础上再增加一个筛选条件...当用户圈选需求涉及任意N天的用户行为时，只能通过存储历史标签数据来解决。 支持跨时间的人群分析。...如果画像平台用户对于人群圈选的速度没有要求，直接基于Hive表进行计算是可行的。...ClickHouse也比较擅长做宽表分析，基于这一特点可以把其作为Hive表的“缓存”使用，从而满足人群圈选和人群分析的提速。
使用画像宽表圈人的逻辑是从明细数据中找到满足条件的用户并最终构建人群，而使用BitMap进行圈人会对用户进行预聚合，在人群圈选时直接使用聚合后的结果进行计算。...首先将指定标签值下的所有用户聚合后生成BitMap，然后基于这些BitMap执行交、并、差操作实现人群筛选。图5-8展示了基于宽表和BitMap进行人群圈选的功能示意图，两种方式最终产出的人群相同。...BitMap特殊的数据结构决定了其适合做用户聚合并应用到人群圈选场景下。...基于宽表中全量用户的明细数据可以实现所有的人群圈选功能，但是采用BitMap方案的人群创建速度相比宽表模式可以提升50%以上。BitMap适用的标签类型和业务场景有限，要结合实际的数据进行判断。...业界一般使用混合模式，优先通过BitMap进行人群创建，不适用的场景下兜底使用画像宽表进行人群圈选。采用混合模式要考虑对齐画像宽表和BitMap的标签时间，这增加了工程的实现复杂度。
平台为业务人员提供海量标签，支持快速圈选目标人群，同时提供精细化人群画像洞察能力，联动多渠道进行推送，并支持人群效果的数据查看，助力业务人员进行全链路用户运营。...04 用户画像平台能力 在平台建设层面，自如用户画像平台能力包含人群圈选，人群洞察、人群营销、营销效果分析，支持全链路定向用户营销。...人群圈选：通过人群圈选可进行精细化用户分层，而用户分层是个性化营销的基础。画像平台支持标签组合、分群组合以及 ID 数据上传 3 种方式，适应营销人员在不同场景下的圈选需求。...人群洞察：支持城市用户画像洞察、人群洞察分析、单自如客/业主/房源/管家画像洞察。从用户的基础信息、行为信息、行为偏好、O2O 行为等多维度对用户群体进行洞察分析。...人群营销：支持 push/短信/优惠券等方式进行定向用户营销，例如圈选北京 7 日活跃用户，推送中秋礼包活动，进行节日关怀；圈选解约业主，通过短信活动触达，进行业主召回；自如的人群包对接至家服 CRM
基于底层的标签数据或者其他数据源，可以实现多种人群圈选方式；人群创建成功后，可以在其基础上支持多种附加功能；人群判存是基于人群的一种常见服务。...规则人群圈选是一种最常见、简单且易理解的人群圈选方式，图2-6展示了规则人群圈选的功能示意图，可以基于已有属性和用户行为数据进行人群创建。...上面是几种常见的人群圈选方式，但是不同场景下对于人群圈选方式的要求不同，下面再介绍两种特殊场景下的人群圈选方式。 人群LookALike：人群LookALike是借助算法能力实现人群的放大与缩小。...人群附加功能 为了方便使用人群，需要在人群基础上添加一些附加功能，常见的功能包括人群编辑与重算、人群拆分、人群自动更新和下载等操作。...拆分是在原来人群的基础上随机拆出一定比例的用户，比如100万量级的人群按20%随机拆分可以构建一个20万用户的子人群。
02 精细化运营的主要痛点 用户分层能力弱：标签迭代速度跟不上业务发展速度，用户画像偏基础通用标签，对特定业务场景的个性化需求支撑能力不够，例如：要对近期参与裂变分享的用户进行激励，已有标签体系很难覆盖该需求...明确了人群需求后，数据的流程主要包括： 数据源准备： 圈选目标人群所需要的标签数据从哪里来?...火车票订单、酒店订单、红包卡券数据 标签生产： 按照场景人群逻辑，清洗加工标签 人群圈选： 以标签为限定条件，从全量用户中过滤圈选出目标人群 用户触达： 将用户数据传输到营销通道，对用户进行触达 效果评估...(4)人群画像 不同人群的用户画像构成是怎么样的，不同特征的用户，对运营转化的效果是否相同呢?人群画像的应用价值一是人群圈选过程中确定是否满足运营需求，二是事后效果分析时，不同特征用户进行对比分析。...标签维度扩展，在现有支持用户ID维度的基础上，扩展商品资源维度，在场景配置上，业务自助实现人与商品的规则匹配。 人群拓展，基于目标的种子用户，利用算法模型进行人群扩展，提升运营效率。
在此之前，原有 MP 的画像分析仅有基础画像，相当于只能分析小程序大盘固定周期的基础属性，而无法针对特定人群或自定义人群进行分析及应用。平台头部的使用者均希望平台提供完善的画像分析能力。...整体来看，平台支持灵活的标签及人群创建方式，使用者按照自己的想法任意圈选出想要的人群，按不同周期手动或自动选出人群包。此外也支持人群的跟踪分析，人群在多场景的应用等。...画像应用：提供基础标签分析及针对特定人群的标签分析，另外还提供人群圈选跟踪分析及线上应用等。...4.4 人群跟踪应用 4.4.1 人群跟踪分析 在按照用户规则圈选出人群后，统一对人群进行常用指标（如活跃、交易等指标）的跟踪。...4.4.2 人群基础分析 人群基础分析对一个自定义的用户分群进行基础标签的分析，如该人群的省份、城市、交易等标签分布。人群行为分析，分析该人群不同的事件行为等。
圈选对军事感兴趣的人群并用于Push应用背景：运营人员每天会整理当前俄乌冲突热门事件并通过Push推送给对军事感兴趣的用户，刚开始主要通过手动的方式在画像平台创建人群，然后导入到Push平台进行推送。...应用方式：调研人员通过画像平台LBS人群圈选功能找到了几所高校附近出现过的用户，并结合用户年龄段等标签提高了用户圈选的精确度。生成人群之后，私信平台可以通过接口拉取人群数据并进行私信推送。...以此类推，针对特定场合如医院、公园、电影院、旅游景点都可以进行精细化的人群圈选。3....基于组合人群赠送优惠券应用背景：三八妇女节当天电商平台会给女性用户赠送商品优惠券，主要通过画像平台的规则圈选找出所有女性用户并构建人群，当用户位于人群中时则赠送优惠券。...应用方式：在画像平台上通过规则圈选创建女性用户人群A，通过文件导入的方式创建黑产用户人群B，通过组合人群的方式创建人群A与B的差集人群C。
规则圈选是按照指定条件从画像数据中找到满足要求的用户并沉淀为人群的一种常见的人群创建方式。所谓的规则就是条件的组合，比如北京市男性用户，最近一周平均在线时长介于2到10分钟之间的中老年用户。...人群创建引擎读取到规则人群配置信息后，首先判断是否适合通过BitMap实现人群圈选，如果适合，可以获取标签的BitMap在内存中进行交、并、差操作；不适合BitMap实现的可以兜底通过ClickHouse...画像宽表进行人群筛选，其实现逻辑是将人群圈选条件转变为SQL语句，借助ClickHouse引擎查询出所有满足条件的UserId并构建人群；当ClickHouse执行异常时会再次兜底从Hive表中筛选用户...，同理，人群圈选条件最终转换为Hive SQL语句并最终将执行结果构建为人群。...基于BitMap进行人群圈选主要分为两步，第一步是从ClickHouse中读取标签BitMap，第二步是在内存中进行BitMap的交并差运算，其实现语句如下所示。
画像数据存储引擎是为了提高人群圈选速度，直接基于底层大数据原始表做人群圈选性能较差，需要借助画像数据存储引擎提高人群生产效率。...本节提到的技术选型主要偏重存储层涉及的画像引擎及画像分析相关技术方案，对应到功能层面上的人群圈选和画像分析功能。 阿里达摩盘是阿里妈妈广告投放平台，该平台可以进行人群圈选并应用于后续广告投放环节。...美团和滴滴的实现方案比较相似，在人群圈选中主要使用的是Elasticsearch和Spark引擎，Elasticsearch可以快速找到筛选逻辑比较简单的人群，当涉及复杂的圈选逻辑时可以降级为Spark...百度内部用户画像相关圈选和分析基本都是基于Doris实现的。知乎的画像圈选也借助了Doris，并把Spark作为一些特殊业务场景下人群圈选的计算引擎。...最近几年ClickHouse比较流行，今日头条DMP以及CDP均通过ClickHouse实现了人群圈选，借助ClickHouse的BitMap实现了人群圈选的提速；快手DMP在人群圈选场景下也借助ClickHouse
业务目标：搭建优惠券发放平台，平台支持多种优惠券类型；支持商家自主配置优惠券及发放策略，商家可以指定人群进行优惠券发放。画像平台提供高可用的人群基础服务，保证优惠券发放的稳定性。...合作方式：画像平台通过人群创建和人群判存等服务支持了该需求，电商服务团队需要提供商家圈选所需要的标签源数据。...商家主要通过规则圈选的方式找到满足条件的用户并配置优惠券，比如筛选出浏览过指定商品的高活跃女性用户，电商服务团队需要按业务需求明确标签范围并提供对应的标签源数据，所有标签通过画像平台标签管理模块进行注册并配置其支持人群圈选功能...优惠券发放平台借助画像平台元数据查询服务、人群创建服务和人群查询服务实现了规则圈选功能，商家可以直接通过可视化的功能创建人群并配置优惠券。...画像平台提供的基础服务运行稳定，累计创建了很多人群并发放了大量优惠券。
精准投放所依赖的数据在广告主侧，基于数据安全的考虑不会把数据同步到媒体侧，又想达到目的，那么基础数据都不出来，通过加密设备编号进行问询就好了。联邦学习也是一种方式，实现成本高，实际也不知是否真的适用？...什么是RTARTA即Realtime API的简称，用于满足广告主实时个性化的投放需求，这里的实时是指API接口实时调用，比如定向人群包圈选可能都是T+1，甚至T+2。...2.广告主RTA人群圈选，营销目标，比如拉新、促活，用户分析。3.广告主离线算法模型，通过算法模型进行人群圈选输出。4.接口性能，因为API实时接口调用，接口调用要求较高，50ms-100ms。
3、业务实现 在搭建了人群圈选引擎之后，我们重点改造了我们的消息推送系统，作为人群精细化运营的一个重要落地点。 3.1 闲鱼消息推送简介 消息推送(PUSH)是信息触达用户最快捷的手段。...实时计算层：根据人群的筛选条件，从用户大宽表中，查询符合的用户数量和用户ID列表，为应用系统提供服务。 人群圈选前台系统：提供可视化的操作界面。...闲鱼PUSH系统：从人群圈选前台系统中获取人群对应的where条件，再从实时计算层，分页获取用户列表，给用户发送PUSH。在实现过程中，我们重点解决了分页查询的性能问题。...人群圈选系统为闲鱼精细化用户运营提供了强有力的底层能力支撑。同时，圈选人群，也可以应用到其他的业务场景，比如首页焦点图定投等需要分层用户运营的场景，为闲鱼业务提供了很大的优化空间。...5、未来 人群圈选引擎中的用户数据，我们目前是T+1导入的。这是考虑到人群相关的指标，变化频率不是很快，且很多指标(比如用户标签)都是离线T+1计算的，因此T+1的数据更新频度是可以接受的。
产品需求是基于这张宽表可以实现人群圈选功能：用户通过可视化的页面选择标签并配置筛选条件，系统可以快速找到满足条件的用户并生成人群。...ClickHouse作为缓存随着人群创建数目的增加，完全基于Hive表圈选人群的问题逐渐暴露出来：当人群集中创建时其产出效率较低。...ClickHouse主要应用在OLAP场景下，工程上考虑将作为Hive表的“缓存”来加速人群圈选的速度。人群圈选的初衷是找到所有满足条件的用户，可以把用户筛选语句直接交由ClickHouse引擎执行。...如图9-7所示，人群圈选功能的实现已经从单纯的Hive查询转变为ClickHouse查询优先、失败后Hive兜底的方式，人群圈选速度提升明显，人群产出时间从几十分钟降低到几分钟。...图9-8展示了基于BitMap进行人群圈选的实现逻辑。本文节选自《用户画像：平台构建与业务实践》，转载请注明出处。
基于这种单表结构，可以很容易筛选出满足条件的用户，比如找到所有常住省为山东的男性用户；人群分析功能可以基于表中的指定标签列进行聚合操作来实现，比如统计所有省份的用户分布情况。...这一特点决定了该模型不支持精细化的基于行为数据的画像圈选和分析，比如圈选出1号到4号点赞过某视频的用户。...但很多场景并不关注与时间相关的明细行为数据，比如DMP平台中人群圈选大部分都是使用离线标签，用户模型比较符合此类场景。 为什么要把标签数据汇总到一张宽表中？...基于用户－行为模型，可以结合用户属性类标签和行为标签实现更加复杂的人群圈选和分析功能，比如圈选出3月1日到3月24日之间，平均在线时长超过1000秒的河南省男性用户；针对给定人群，分析其从3月15日到3...基于行为明细数据可以实现更加细致的人群圈选和分析功能，比如圈选出3月1日到3月7日，中午12：00到14：00之间，使用Android系统进行登录的河南省女性用户；筛选出3月24日登录2小时之内发生了点赞行为的用户
标签口径不一致：用户画像、精准营销平台人群圈选、算法特征都会涉及到用户或商品标签，各个系统存在标签同义不同值、同值不同义的问题，导致标签复用度低、重复建设带来的成名和资源浪费，这也是中台要重点解决的问题...业务运营靠经验：一般精准营销平台强调基于标签圈人的能力，什么样的用户适合推什么样的产品，提供什么样的服务，靠运营同学人工操作，基于经验或数据分析，确定特定场景下的人群标签条件，圈选后进行后续营销动作。...1.4 产品目标 （1）提供数据源接入及管理功能，将数据开发线下对接开发流程线上化、自动化 （2）建立完善的用户、商品标签体系，提供人群圈选、场景配置能力，标签生产流程配置化，业务自助配置取代数据开发、...标签体系建设过程要充分结合业务过程和运营场景需求，以电商行业为例，用户标签体系可以分为基础属性、行为属性、消费属性、营销属性、服务属性、风控属性等几个一级分类，详细示例见下表： （3）人群管理 目标：...提供基于标签圈人的能力，精准圈定目标人群进行分析或数据输出 功能要点：人群列表，新增人群流程（圈选、excel等自定义上传、SQL语句）、人群画像、人群输出(接口或场景配置) （4）场景管理 目标：对接营销
用户分层运营的方式一是基于运营的业务经验，将运营场景抽象成标签规则进行人群圈选和触达营销，另一个就是利用算法模型进行人货场的智能匹配。这两种运营方式各有什么优劣势呢?...最近CDP平台新增了很多算法挖掘的标签，扩展了基于算法模型直接输出目标人群的场景，通过AB对比，算法圈选的目标人群的转化效果要好于运营基于经验、规则人工圈选的效果。...有同学不禁问道，既然基于算法的运营过程不需要运营介入，省去人工圈选的动作，可以输出更精准的人群，转化效果更好，那是不是基于算法的智能运营可以取代基于经验的业务规则运营呢?...从上述案例可以看出，规则运营，需要具有具备良好的业务经验和一定的数据思维才能将目标用户识别条件标签化，主要特点如下： 优点 1.行动敏捷，明确运营场景以及人群圈选条件后，可以快速进行人群输出，是CDP平台运营可以自助圈选...2.基于模算法模型的人群圈选可以覆盖更多特征维度，用户分层能力更多样化、精细化。
3）运营成本高 运营成本高，原因是投放、干预类的需求非常高频，但却每个需求都需要经过产品、研发、测试及发版的过程，就算再高的上线效率，上线的周期也会滞后。...3-2、产品表现：用户圈选 在选取用户时须考量的产品功能为：圈选方式、圈选频次、圈选条件及人群服务。 实质上这4个功能的底层支持都来自于用户数据平台，用户运营平台则负责服务的运用及表现。...1）圈选方式 条件选取 这是在可视化、自助化选择用户条件后，通过与其取值范围进行比较经计算生成人群数据包的一种形式。 一般来说，具备抽象为可视化条件的数据使用较为高频，数据准确性较高。...4）人群服务 前面的部分描述的是如何选取用户，而这一部分则是选了后还要做的事情。 其执行流程如下： 通过条件查询得到了人群包，然后对不同人群包进行交并叉相关的数学计算。...关于敏捷，我理解的是低代码或者无代码实现运营需求，并且能够自主测试无须发版，所以对应的解决方案是可视化的拖拉拽，上图是易观数科的智能运营Work Flow，是一个很好的案例。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
云直播
对象存储
