我想让人工智能技术在校园的深度应用

介绍视频

本文所提及的心理问题筛查主要针对于人群的自杀意向预测,指通过计算机采集、分析区间内人员面部表情和变化从而确定其心理情绪以及其它特定行为如活动轨迹等,并结合长期以来的个人数据从而综合推导而出。基于人脸识别技术的校园智能心理健康问提筛查系统利用计算机处理信息量大、处理速度快、不间断工作等特点,辅助心理医生发现校园内的潜在的自杀对象。本文核心创新点在于行为筛查系统结构设计和部分功能工作原理部分,人脸识别技术现今已相对成熟文中不再赘述。

本文基于已有心理学研究成果,假设可以通过机器学习并通过分析实验样本面部表情中负面情绪出现的次数和频率而推导出实验样本出现心理问题(抑郁、焦虑)的风险。心理学文献表明情绪低落、焦虑、抑郁和突然脱群活动是高风险自杀人群的明显特征【 9 】,所以本文将有抑郁和焦虑情绪表现的对象定义为有潜在自杀风险的人群。

将多个实验样本的多个具有情绪特征的图像放入所构建的系统内通过人脸识别和积分模型等过程进行鉴别,如该系统成功分辨出正常和抑郁的的实验样本即为该假设在实验室环境下内成立。

一、系统简介。

分布在校园内的所有摄像头采集的画面通过监控局域网系统实时传送到监控中心,在记录影像数据的同时数据分析中心调取每个摄像头所拍摄的画面进行人脸对比和面部情绪识别,分析后所得的面部情绪数据、拍摄该画面的位置和拍摄时间按照人脸对比结果储存到相应的人员档案中。

以个人为单位,将档案中储存的被拍摄位置以被拍摄时间由早到晚的顺序依次标记在区间地图上,再采用低采样频率活动轨迹还原算法得出用户活动轨迹。通过不同用户的游离程度和历史记录基于机器学习判断出脱群活动的个体。与此同时,分析所得的情绪数据和活动轨迹输入计算机模型经过人工智能系统处理并列出心理状态维度图供心理医生参考,由心理医生反馈具有象征性的典型数据进行机器学习。随着模型的训练,识别准确度将逐渐提高。在初期,系统将基于心理学现有研究进行预判并发出提示以实现在校园内筛查有心理问题学生的功能,具体实施内容详见后文。下述2-1至2-5五项功能属于多线程。

校园内所有网络监控摄像头遵循Real Time Streaming Protocol,RFC2326协议将视频画面推流到监控系统局域网。网络监控录像机和前端服务器同时从局域网拉流,获取实时监控画面;网络监控录像机获取视频流后以五分钟切片循环的方式单独储存每一个机位的画面。前端一、二级处理器均隶属于前端服务器内,前段一级处理器则进行实时人脸检测、抓拍工作。当检测到人脸后以五张/秒的数度抓拍,在一级处理器中抓拍的照片以个人为单位基于SSIM算法【 10 】评估相同位置相近时段内被摄人脸画面的质量并将评分最高的画面裁剪至面部区域大小并附上拍摄时间和机位地点信息以图像链接文档形式储存。前端二级处理器则进行空间相对位置计算和他人相对距离计算。

2-2:1: N人脸搜索与面部情绪识别功能。

随着科技的高速发,无论是基于肤色几何特征或者基于光流的多HSMMs的人脸识别模型越发成熟【 11-12 】,本文中采取调用POST API接口的方式进行。在获取人脸抓拍图像后数据被输入到 “Detect API”端口,由端口返回face_token数据。该数据用于实时显示人脸框;与此同时向 “Search API”端口发送图像,端口返回具有人物特征比对结果的face_token数据,即指用户名。并根据face_token中的数据更新由系统建立的“图像特征Document文件”; 再调用“Face Analyze API”进行情绪识别,向端口发送图像后获取端口返回值中的“Emotion”队列,其中包含7个千分位的浮点数字段,数字代表对应名称变量的置信度。获取信息后再次更新由系统建立的“图像特征Document文件”。此时“图像特征Document文件”中已经用户名称和用户7维度情绪置信度(未确定情绪结论的初始多维度数据)。

2-3:基于人体关键点识别技术的空间相对位置和运动方向计算功能。

使用现有的人体关键点识别SDK端口识别图像中的关键点。输入图像后得到人员数量和每个人体14个主要关键点坐标其中包含四肢、脖颈、鼻子等。

经过大量的实验数据显示在人移动时髋骨相对稳定并且髋骨属于人体不能大幅度扩张和移位的非活动骨之一,不会因为运动而发生特别大的外观、尺寸变化。所以本文以对比髋骨在画面中的变化程度定义被测样本的相对位置和运动方向。

当实验样本从远处走向近处时,left_hip和right_hip两个关键点发生着明显的变化。推理出可以通过计算髋骨在画面中宽度的变化从而推导出实验样本的运动方向(远离或抵近)。n是图像序列的图像数量,R和L分别是左侧和右髋骨关键点,X和Y分别是横坐标和纵坐标。

人体抓拍识别每秒钟进行3次,运动方向分析每2秒钟进行一次,2秒内采集画面的第2帧与的5帧作为对比参数纳入算法进行计算。运动方向分析结论写入“图像特征Document文件”辅助运动轨迹还原。人物在图像中的相对位置则可以直接由API端口返回的人物框坐标函数提供。

2-4:低采样频率的活动轨迹还原功能。

从“图像特征Document文件”中调取人物每一次被拍摄到的时间、机位地理位子和运动方向。将每一次被拍摄位子放置在地图上,以时间顺序排序,运动方向作为参考数据。

导入地图后基于步行限制建立道路网用于全局路径集,标定对应摄像头机位在地图中的位子及视角。全局路网需要包含每一种路径的可能性,包含但不限于小路、捷径等。

将“图像特征Document文件”按照个人为单位,放置被拍摄机位信息。相对运动方向信息以0(渐进)和1(渐远)的形式表示在对应点上。以时间顺序将相邻的两个点连线,从而还原活动轨迹。当路线轨迹还原过程中遵循时间顺序与活动活动方向顺序,如在一条直线d上,有A、B两点。A、B点分别是对象的起点和终点。对象在第1秒时被A点监控器拍下,第8秒时被B点监控器拍下。

当对象在A处的活动方向为渐远,B处活动轨迹为渐近时则对象直接通过直线从A点到达B点(绿线表示)。若对象在A处的活动方向为渐近,B处为渐近时则对象是绕行直线d到达B处(红线表示)。所还原的活动轨迹将跟随对应目标的描述性文件一同保存。

2-5:基于心理学的加权计算推导自杀高危人群。

基于心理学的加权计算推导自杀高危人群即指自杀意向识别模型。心理学已有研究成果表明,压抑因素在自杀预测上有显著的效果,对象的自杀风险随着压抑水平的升高而提升【 13 】。与此同时,现有研究文献表明有九大因子能够成自杀,人际关系、抑郁、焦虑、敌对占有较大比例【 7 】。随着心理问题的积攒 ,实验对象会从表情、行为等多方面体现。

本文上诉内容已经完成对实验对象人脸识别、情绪分析、行为轨迹数据采集,现输入到自杀意向识别模型中。

根据上表构建加权计算规则,当个人累计量达到一定值时系统就发出警告,该指由支持向量机(SVM)机器学习后反馈。

全局设置“心理症状”变量,初步设定每当检测到负面情绪表情变量值加一、积极情绪表情变量值减一、基于轨迹还原系统当检测到脱离常规活动路径时变量加一、每6个小时系统识别到的积极情绪表情次数小于被识别到平淡表情(无表情)次数的三分之一是变量加一。系统处于初步设计状态,具体权重比例根据根据运行实际结果调整。与此同时,系统所有采集到的参数输入到SVM机器学习单元,由机器自行学习评判标准。前期由人工反馈每个样本对象的实际心理状态与自杀风险评估结果用于训练机器学习系统。

2-6:基于支持向量机的机器学习。

对于校园自杀高危人群的筛选主要为还原目标在特定时间内的行为轨迹,即对若干连续的时间、空间位置上的面部表情的评估统筹成的时间上连续的轨迹。在本文中,将对轨迹中每一点的目标情绪做出分析并根据变量数建立超维点,通过SVM分类器识别其行为倾向,从而达到筛选的目的。

本文居于大量已有SVM模型,调整出一套高效支持向量机SVM模型【15-21】。支持向量机在非线性,样本量偏小,建模维度多的情况下,可以有效地进行模式识 别任务并能够推广应用到函数拟合等其他机器学习问题中。对于在平面上或某超维空间(N维)中任意分布的超维点,寻找一个超维面(N-1维),又名决策面,使得超维点能够被该面完全分割为单一类型的点集。

如图 9所示,在二维平面中,处于两点集之间的红色直线为最优决策面,寻找其的方法为保持原决策面方向不变的情况下,左右平移决策面直至第一次与超维点相交(图 中虚线位置),两虚线间的垂直距离(分类间隔)最大者为SVM算法的目标解。

线性可分条件下SVM算法的最优解。优化问题的约束条件为以下三条:

◼一条直线能够将所有的样本点都正确分类

◼决策面的位置应该在间隔区域的中轴线上

◼对于一个给定的决策面,找到对应的支持向量

需要用核函数将 SVM 分类器的数据映射到目标高维空间,使其容易区分。常见核函数有线性核函数,多项式核函数,高斯核函数等。

SVM的参数设置分析,在本文中,每一个数据点为一个目标在特定时间点的面部表情特征。本文主要赋予了每一个数据点三个特征活动行为轨迹,面部情绪,社群状况。

活动行为轨迹基于轨迹还原功能,当识别到实验对象的活动轨迹偏离日常规律,或者进入其它高风险自杀地段(较为隐蔽的位置、过往自杀者偏离正常路径后频繁活动的位置、未申报并长时间消失于监控网络)将作为条件可能性因子纳入计算。

面部情绪通过整合本文第二章节第二小节部分的面部情绪识别结果,即七种面部情绪的占比,综合得出实验对象情绪结论。基于心理学自杀因子累计学说【7,13】,进行不同比例的加权计算。该计算结论作为条件可能性因子纳入计算。

社群状况

能够通过人体关键点,进行前后画面对比,人体关键点距离链接圈的手段计算出人群中不同的社交圈即是否有人随行。根据心理学研究报告显示,脱群现象是抑郁的一个明显显现【13】。样本脱群活动的次数与频率作为可能性因子纳入计算。

本文设定高斯(RBF)为机器学习核函数 ,高斯径向基函数是一种局部性强的核函数,其可以将一个样本映射到一个更高维的空间内,适用于较宽范围的样本,并且适用于变量较少的情况。

Gamma 为高斯核函数中的主要变量,影响数据映射后的空间分布,gamma 变量为 SVM 提供限制位置 。实验中惩罚因子的值决定惩罚程度。惩罚程度过小会降低学习速度并提高误差率,过大则会影响分类器的正常拟合。

结论

本文提出了以机器视觉的方式识别人类面部表情,通过校园监控系统对个体数据进行不间断的采集,充分发挥了计算机处理信息量大,速度快的特性。传统的调查问卷式自评量表采集耗时长、随机性大、结果不准确,只能在极小程度上预测调查对象的自杀心理。本文所提出的心理问题筛查系统有着不可估量的市场前景,再往后的深度运用通过多维度采样数据综合分析能得到更加惊人的效果,从而极大程度上预防与降低校园自杀、犯罪率等一系列由心理健康问题而引发的校园安全问题。

经过实验验证,本文所提出的方法具有可行性。(在项目成果中具体展示)

但是本文研究依旧存在不足,如维度不够高,仅从视觉监控一方面入手。在后期的运用中可以加入社交平台舆论监控等线上行为监控;自杀意向判定标准无世界统一标准,仅依靠于机器学习和现仅有的研究成果,要达到准确的自杀人群识别需要太多的自杀案例进行机器学习才能做出有效、正确的行为预判。

在今后的探究中,将加入更多参考变量与因素从而提高识别准确度。拓展机器学习的能力,找出更高效率的机器学习方式,如多点联网、数据资源共享等都是解决问题的方式。最终,该系统不仅可以运用于自杀行为预测还可以运用到更多领域,如校园暴力犯罪监控、校园师生生活质量改善、紧急情况最佳路线规划、人员动态考勤关系、无卡便捷支付等多个领域。

参考文献

[ 1 ] 孙莹.陶芳标.高茗.合肥市中学生自杀行为与若千心理因素的相关研究[ J ].中华流行病学杂志, 2006: 27(1):33-36.

[ 2 ] 星一,季成叶籍红,等.北京市石景山区中学生伤害相关行为流行状况[ J ].中国学校卫生, 2003,24(1):28-29.

[ 3 ] 梁军林,孙录赵静波,等.中学生自杀意念发生率及其影响因素分析[ J ].临床精神医学杂志, 2000, 10(3): 144-146.

[ 4 ] 张志群 ,郭兰婷.成都市区中学生自杀未遂的现况调查[ J ].中华流行病学杂志, 2003, 24(3): 189-191.

[ 5 ] 罗春燕彭宁宁,朱蔚,等.上海市青少年危险行为现状研究(五)[ J].中国校医,2003, 17(3): 197-199.

[ 6 ] Gold stona David B ,Beth A. Reboussinb and Stephanie Sargent Pre -dictors of Suicide A tempts State and Trait Components [ J ]. Journal of A abnormal Psychology, 2006, 115(4): 842-849

[ 7 ] 吴连海, et al. "心理健康症状对大学生自杀倾向预测模型的构建." 中国健康心理学杂志 18.1(2010):99-100.

[ 8 ] 李晓雨. 基于序列图像的表情特征提取和识别. Diss. 大连理工大学, 2006.

[ 9 ] 高鸿云. "青少年自杀." 中国实用儿科杂志 22.3(2007):169-172.

[ 10 ] Ying-Ying, Duan , M. A. Jian-Hua , and C. Wu-Fan . "Improved SSIM medical image quality assessment." Computer Engineering and Applications (2010).

[ 11 ] 缪少军. 基于光流和多HSMMs的容忍遮挡的面部表情识别. Diss. 江苏大学, 2008.

[ 12 ] 王磊. 人脸表情自动提取与跟踪技术研究. Diss. 湖南大学, 2007.

[ 13 ] 金盛华. "青少年自杀意向预测研究." 青年研究 5(1996):40-45.

[ 14 ] 丁楠. "基于机器学习的大学生自杀风险预测与分析." 现代电子技术 21(2017):99-101+105.

[ 15 ] MATHUR A, FOODY G M. Multiclass and binary SVM classification: Implications for training and classification users [J]. IEEE Geoscience and remote sensing letters, 2008, 5(2): 241-245.

[ 16 ] Hu, W., Tan, T., Wang, L., & Maybank, S. (2004). A survey on visual surveillance of object motion and behaviors. IEEE Transactions on Systems, Man, and Cybernetics, Part C (Applications and Reviews), 34(3), 334-352.

[ 17 ] Shan, Caifeng, Shaogang Gong, and Peter W. McOwan. "Facial expression recognition based on local binary patterns: A comprehensive study." Image and vision Computing 27, no. 6 (2009): 803-816.

[ 18 ] Keerthi, S. Sathiya, and Chih-Jen Lin. "Asymptotic behaviors of support vector machines with Gaussian kernel." Neural computation 15, no. 7 (2003): 1667-1689.

[ 19 ] Wöllmer, Martin, Angeliki Metallinou, Florian Eyben, Björn Schuller, and Shrikanth Narayanan. "Context-sensitive multimodal emotion recognition from speech and facial expression using bidirectional lstm modeling." In Proc. INTERSPEECH 2010, Makuhari, Japan, pp. 2362-2365. 2010.

[ 20 ] Ryoo, Michael S. "Human activity prediction: Early recognition of ongoing activities from streaming videos." In Computer Vision (ICCV), 2011 IEEE International Conference on, pp. 1036- 1043. IEEE, 2011.

[ 21 ] Wang, Xiaogang. "Intelligent multi-camera video surveillance: A review." Pattern recognition letters 34, no. 1 (2013): 3-19.

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20190222G0Q80500?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 yunjia_community@tencent.com 删除。

扫码关注云+社区

领取腾讯云代金券