画像平台的重要性

我第一次知道用户画像是在学习数据挖掘的某节课堂上，当时对画像只有一个概念上的认识；工作后接触到了画像平台，当时第一反应是在平台上查询一下自己的画像信息，发现查询结果非常准确，自此对于平台背后的画像技术产生了很大的兴趣；在之后工作中有幸参与了画像平台的建设工作，对于用户画像的认识更加真切。

出于对用户画像的兴趣以及工作经验，我萌生了写一本与画像平台相关图书的想法，主要是实现以下目的：

• 通过画像释放大数据价值。大数据时代不缺少数据而是缺乏挖掘数据价值的系统性方法，希望借助本书提高读者对于画像的认识，引导各公司和业务从画像的角度更加充分地利用大数据资源并释放更多的数据价值。
• 介绍清楚画像平台是什么。通过本书将画像平台的构建过程以及赋能业务的方式讲清楚，帮助读者全面且深入地了解画像平台。参考书中内容，读者在构建画像平台和使用画像数据的过程中更加有的放矢。

什么是画像

画像是体现大数据价值的一种方式，画像平台作为画像数据产品化的主要途径，其重要性不言而喻。介绍画像之前，先了解一下标签。标签用于描述事物的某项特征，具有抽象性和概括性。以人来举例，男和女是人的特征，这类特征可以抽象为“性别”，性别便可以作为一个标签；以短视频用户为例，在观看短视频过程中用户表现出了对军事或者体育类视频的兴趣，这类特征可以抽象为“兴趣爱好”，其也可以作为一个标签。画像依托于标签，当提到画像的时候，往往是一组具体标签值的组合，比如兴趣爱好包含军事且性别为男的用户。用户画像字面含义偏重“用户”，往往是指对“人”这一主体的画像。

画像的重要性

自2014年以来大数据的重要性逐年凸显起来， 2020年4月，中共中央、国务院发布《关于构建更加完善的要素市场化配置体质机制的意见》，将“数据”与土地、劳动力、资本、技术并列，作为新的生产要素，并提出“加快培育数据要素市场”。2021年国家“十四五”规划明确提出要“激活数据要素潜能”，并将大数据视为已融入经济社会发展各领域的重要应用。图1-1展示了我国数据战略的发展历程。

图片

在大数据时代，画像的重要性主要体现在三个方面。

• 画像是大数据价值体现的一种方式。虽然大数据已经被各行各业重视起来，但是目前大数据的利用率仍比较低，根据IDC（Internet Data Center，互联网数据中心）和希捷科技的调研预测，未来两年企业数据将以42.2%的速度保持高速增长，但是目前企业运营中的数据只有56%能够被及时捕获，而被捕获的数据中也仅有57%的数据得到了利用，换句话讲只有32%的企业数据价值能够被激活。在数据利用率较低的情况下，如何更好地挖掘数据价值便非常重要。画像开发依托于比较成熟的大数据技术体系，各类企业可以借助大数据技术快速进行画像开发并构建完善的画像数据体系，最终通过工程化手段提高画像数据使用的便利性，借助画像释放大数据的价值。
• 画像应用场景广阔。画像数据不仅可以直接应用于各类机器学习算法中，提高算法的准召率；而且可以应用于各类分析场景，提高对业务发展变化的洞察力；还可以用于精细化运营，提高投入产出比。在电商领域中，将画像数据应用到推荐算法中可以精准挖掘用户的购买需求，做到千人千面；在销售领域，通过对用户做详尽的洞察分析，如性别分布、常住地域分布、购买力分布等，可以做更有倾向性的产品规划和市场布局；客户使用广告投放平台时可以利用画像数据精准地定位目标人群，借此提高广告投放转化率。综上可知，画像数据具有非常广阔的使用场景，已经应用到了互联网领域各类业务中并取得了不错的成果。
• 画像可理解性和可解释性强。目前机器学习算法尤其是深度学习算法已经应用到了各类场景中，虽然取得了突出的成绩，但是在算法结果的解释上一直缺乏明确性。以小红书推荐为例，每个用户接收到的推荐列表是不同的，但是很难从算法的角度给出明确的推荐理由和原因。这是由于机器学习算法应用了海量的特征及特征组合数据，经由复杂的算法模型处理后，这些数据很难明确地解释清楚用户的特点和动机。与之相反，画像数据可以直接且明确地表达出用户的特点，可解释性较强，比如给喜欢NBA的男性用户推荐了篮球，这个推荐的原因非常明确且容易理解。在数据分析过程中也同样需要明确的用户画像数据，比如分析近一个月北京市男性用户在线时长变化，需要明确指定用户的性别和常住省信息。

综上可知，在大数据时代，画像是一种充分体现数据价值的方式，在当下和未来都非常重要。基于现在比较成熟的大数据技术便可以进行画像数据开发，由于其可理解性和可解释性强，在数据分析领域可以起到重要作用，不仅如此，产出的画像数据还可以应用在其他各类业务场景中。

提示：本节部分信息来自中国信息通信研究院发布的《大数据白皮书（2021年）》。

画像平台定位

画像数据一般存储在数据表中，如果只是通过数据表的形式对外提供服务，很难充分发挥数据的价值。画像平台是一款可视化的用于体现画像数据价值的应用，其底层依托于画像数据，借助工程手段以平台功能或服务接口的形式对外提供广泛的画像服务，并由此提高画像数据利用率、扩大画像数据价值。画像平台是本书重点，后续将通过平台发展现状和整体架构介绍引申出平台的常见核心功能，并分别介绍各核心功能的详细架构和实现方案。

画像平台角色与分工

画像平台业务逻辑并不复杂，但是涉及的技术面及相关角色比较广泛。标签数据的产出、画像数据质量的维护依赖数据工程师；挖掘类标签以及人群需要通过算法工程师完成；标签及人群管理功能、标签及人群服务的实现依赖服务端工程师，其实现方案涉及大数据和分布式技术；平台最终通过可视化的方式对外提供服务，这依赖前端工程师实现；产品的规划与设计、画像平台推广与优化迭代主要靠产品经理；运营人员是画像平台主要应用方之一。下面将详细介绍每个角色在画像平台中的主要工作内容。

（1）数据工程师

画像平台强依赖标签数据，标签数据的产出依赖数据工程师。

数据工程包含数据的获取、存储及处理，数据工程师的主要职责就是做好上述工作。在画像平台项目中，数据工程师主要负责大部分底层标签建设，特别是规则类和统计类标签，数据工程师借助大数据工具按时保质保量产出标签数据。对于每一个标签，数据工程师都需要进行前期调研，数据获取以及数据加工工作，对于处理好的数据需要按照业务需求进行存储。为了保证数据异常可以及时被发现，数据工程师需要做好完善的数据监控工作，保证数据生产流程的稳定性和数据结果的可用性。

（2）算法工程师

算法工程师主要负责画像平台挖掘类标签和人群的生成。

画像平台的标签有很多，并不是所有的标签都可以通过现有数据按明确规则生成，有些标签需要借助算法能力进行挖掘。比如用户的购买意向很难通过数据统计给出结果，需要借助算法能力预测用户对指定商品的购买意愿大小。算法工程师需要首先找到一批有购买行为的用户作为样本，分析用户的购买历史并提取购买行为的特征供机器学习算法进行学习训练，训练出针对该商品的用户购买意愿预测模型；然后使用该模型可以预测其他用户的购买意愿值；最后根据购买意愿数值大小可以将用户划分成高中低三个等级，并最终作为用户标签录入画像平台。

除了生产挖掘类标签，算法工程师还可以生成挖掘类人群。比如人群LookALike，可以借助用户的特征向量来计算相似度，从而找到与种子人群比较相似的用户群并生成目标人群，其中用户向量由算法工程师负责产出。目前借助算法能力实现智能化人群圈选也是画像平台的发展趋势，算法工程师在画像平台建设中的作用也越来越大。

（3）研发工程师

画像平台属于运营类工具平台，其中包括前端可视化页面和服务端功能实现；画像平台还可以通过接口的形式对外提供画像基础服务并赋能更多业务。以上功能的实现依赖研发工程师。

画像平台的目标就是放大画像数据的价值。对画像数据的具体需求可以抽象为画像平台功能并通过可视化的页面提供给用户使用，如画像平台常见的标签管理、人群圈选及画像分析等功能都依赖前端和服务端研发工程师来实现。

画像平台除了可视化的页面也会提供画像基础服务，比如标签查询服务、分群服务、人群判存服务和画像分析服务，对这些服务的封装及对外输出需要服务端研发工程师来实现。有些画像服务涉及分布式和高并发场景，调用方对服务的稳定性和可用性有很高的要求，服务端研发在其中发挥着重要作用。

（4）产品经理

画像平台要成为一款可用且有用的平台，离不开产品经理的精心规划与设计。

平台建设最终是为了解决业务痛点，这需要产品经理深入理解需求并沉淀为产品方案。业界不同画像平台间的功能虽然相似，但是根据不同的业务特点，其功能侧重点和具体细节都不相同，这个需要产品经理对自身业务有明确的认识和清晰的判断，设计出更符合自身业务需求的画像平台。对于已经交付的功能，产品经理要及时收集用户使用反馈，不断打磨产品，提高产品质量。

画像平台相关产品以及技术也在快速迭代，产品经理要有开阔的视野，需要不断地学习并了解业界发展趋势，结合自身业务特点实现画像平台功能的迭代更新。

（5）运营人员

运营人员是画像平台的核心用户之一，是画像平台主要需求来源方和平台使用反馈方，也是平台的潜在宣传者。

在画像平台的使用者中运营人员占大多数。运营人员可以借助画像平台功能来满足自身需求，如单用户画像查询、人群圈选及画像分析，并最终将人群应用到运营活动中。运营的使用反馈对于画像平台非常重要，可以基于实际反馈进行平台功能优化升级。如果运营人员使用画像平台取得了不错的业务成绩，对于画像平台的宣传也有积极作用。

画像平台的建设涉及多种角色，每种角色都有明确分工和职责偏重点，一个完整的平台依赖各角色精诚合作。正是因为运营人员的需求反馈，产品经理才有了产品设计及功能规划。在需求讨论中，研发工程师、数据工程师、算法工程师都发挥己见，基于技术可行性提出一些建议，最终大家共同打磨出一款满足实际业务需求的高可用的画像平台。在使用过程中，用户的需求和反馈不断推动平台功能迭代升级，其中每一个环节都需要各角色密切配合共同完成。

从严格意义上讲，画像平台是一个比较重要但又比较小众的平台，其涉及的技术领域较多且在大数据量下才能凸显其价值，所以目前只有大公司或者数据服务厂商才会搭建符合自身业务特点的画像平台。但是画像数据已经应用到了各类业务中，各类业务通过不同方式或多或少都在使用画像功能。比如在使用DMP（Data Management Platform，数据管理平台）和CDP（Customer Data Platform, 客户数据中台）系统时就涉及了人群圈选和分析等功能；在客服和风控系统中查询用户基本信息可以归为画像查询范畴；通过问卷调研结果标注用户可以看作给用户设置画像标签数值；各业务数据监控报表中涉及群体用户的统计分析也可以归为人群画像分析范畴。基于画像平台建设和数据的使用现状，本书面向的读者对象按照相关性由近及远可以分为三类：

• 正在建设或者计划建设画像相关功能的人员。如果正在进行画像平台建设或者计划搭建画像平台（或者说有类似功能的平台），可以通过本书对画像平台有更加全面的认识，辅助做好产品规划和技术选型。
• 对画像感兴趣的公司和个人。画像是一种简单且直接体现大数据价值的方式，画像数据及相关平台功能建设肯定会逐渐被重视起来，对画像感兴趣的读者可以通过本书加深对画像数据及平台功能的了解和认识。
• 互联网从业人员。画像平台涉及的角色较多，使用到的技术也比较广泛，本书完整地呈现了画像平台的核心功能及技术实现方案，其中很多技术点和优化思路也适用于互联网其他业务领域。如何基于大数据构建完整的标签体系、如何保证标签质量、如何处理实时标签数据等对于数据工程师有一定的启发作用；画像平台中的标签查询、人群判存以及人群数据输出涉及分布式及高并发场景，如何保证服务高可用并不断提高系统性能对研发工程师有一定的借鉴价值；画像平台功能模块介绍、技术发展趋势、平台选型的优劣、相关技术的适用场景说明等，可以帮助产品经理更深入地了解大数据产品；了解画像平台基本运行原理，对运营人员更高效地使用标签和人群数据来提高运营效率也有一定的参考价值。

图片

本文节选自《用户画像：平台构建与业务实践》，转载请注明出处。

图片