K 歌自助安全系统
一、背景
社交化的全民K歌app，在快速发展的同时，也面临着严重的安全威胁，包括骚扰、广告、刷粉、色情、政治等内容，对产品的健康运营造成了严重的威胁。虽然有自动审核和打击的策略，但是面对多样化的安全问题，以及快速出现的各种变种内容，还是处于被动，防不胜防。另一方面，效果最好的人工审核，受限于人力资源，无法全部处理每天的海量内容。
例如，一些广告专门针对高等级用户、家族/土豪玩家，内容隐蔽，广告数量又不大，所以一方面是部门员工难以发现广告内容，不能及时消除影响；另一方面却又是这些广告内容无法及时被反馈上来。以前的处理流程是，这些被骚扰的高级玩家或者选择忍气吞声，或者反馈了很晚才触达，又需要我们人工确认后再进行处理，效率很低，耗费大量人力。
二、原理
针对人力资源不足，处理效率低的问题，我们考虑到，可以让一部分外团用户帮助我们来审核。
首先，外团用户活跃度/贡献度/忠诚度非常高，是非常优质的用户；外团用户又是恶意行为的重点关注对象，同时也是恶意行为的受害者，对这类行为很反感又很敏感，容易发现问题。所以，有时间有精力有人脉有经验有兴趣的部分外团用户，可以帮助我们做一些非敏感的工作，我们也逐步下放了一些非敏感的管理权限，这样既弥补了我们人力不足的困扰，又提升了产品的体验和运营能力。
由外团高信任用户组建安全处理专门团队，目的是速度快、触达广地处理恶意/非法内容。一方面，内部用户（部门员工）/可信任的外部用户举报问题内容/恶意帐号时，后台系统对这些举报自动处理，例如删除图片、删除作品、封号等。同时，对举报后自动处理的权限进行精细化管理，内部用户高授信，可处理所有内容，外团用户授予处理低危但高频的问题内容的权限。另一方面，对举报内容进行分析，对高等级用户举报的内容，多人举报的内容，优先人工审核或者自动处理。并且，对大v用户、高等级用户、白名单用户进行保护，防止被误举报打击。
我们的用户自助安全体系，可以根据举报用户的权限，对高授信用户的举报内容自动处理。外团用户/外部高授信用户如果发现问题内容/恶意用户，通过举报系统上报后，就会自动进行处理，从而大大提高了对问题内容/安全问题的打击力度和范围。
三、实现
业内旧有的举报处理方案：
1、举报内容全部需要人工审核，信息从反馈到最后处理的环节多流程慢。
2、发现安全问题，需要在PC上使用专门的管理平台进行处理，响应速度慢。
3、人力资源不足，人工审核无法充分覆盖；又没有把外部力量利用起来作为补充。
优化后的技术方案：
复用现有的举报通道，通过精细化的权限管理，对内部用户/高可信的外部用户的举报内容，自动进行处理，既加快了对问题内容的处理速度，又扩大了人力审核的范围和力度，而且还充分利用起来了外部力量作为项目组人力不足的补充。
1、权限管理平台，授予指定用户对指定业务的自动处理权限，以及可自动处理的配额次数。高可信的外部用户，刚开始时仅授予部分业务（即便误操作也影响不大）的自动处理权限和1~3次的配额；后续经过我们评估，如果该外部用户的举报真实有效，我们就酌情提升处理权限和增加处理配额。内部用户完全控制权，对于各个渠道反馈的问题内容，确认后就通过app即时处理。
2、举报内容管理平台，记录所有的举报信息和内容，方便运营同事查询、筛选和确认；同时，也可以对已确认的问题内容进行处理。
3、对大v用户、高等级用户、白名单用户，进行保护，避免因为误操作等原因造成影响。完全可信的用户，不允许自动处理；高可信的用户，需要有多人举报（授予自动处理权限的用户举报）才进行自动处理。
4、对举报内容自动分析、排序，辅助人工审核。对于被多人举报的内容，或者是被高等级用户举报的内容，又或者被举报的是刚申请的号码，优先在前排展示，提醒运营同事及时处理。同时，结合我们的用户行为分析系统，对被举报的帐号进行重点分析监控，提升了打击效果。
四、效果
系统上线后，之前需要复杂的沟通、信息拉取、处理流程，现在只需要在手机客户端上点击即可。外网紧急/突发安全问题的平均处理时间，由之前的20分钟，降低到现在的秒级响应。之前每天平均有15条漏过的安全问题反馈，现在降低到每周只有几条。
五、小结
全民K歌，是一个重度社交类app，日活跃用户超过3500万，安全问题非常复杂：有文字、图片、音频、视频等各类ugc内容，有广告、诈骗、色情、政治等各种问题，有刷粉、刷播放、刷评论等恶意行为。但是我们的开发、运营人力却极为不足。另一方面，对于线上安全问题，如果在非工作时间，只能V**登录管理平台页面进行处理，效率低、响应慢。
针对以上情况，我们研发了一套“自助安全系统”的解决方案，开发量小，适配性强，客户端无需任何改动，直接复用已有的“举报”通道，在后台对高授信用户的举报进行自动处理，发现安全问题即可实时在app上进行处理。同时，精细化管理权限，把低危高频的安全问题处理权限下放给外团成员，扩大人工审核的范围。这套系统上线后，外网基本无安全问题。