向AI转型的程序员都关注了这个号👇👇👇
机器学习AI算法工程 公众号:datayx
本项目基于PaddlePaddle和EasyDL平台,以教务处和学工为一级用户,高校教师为二级用户,针对提升整体课堂教学质量为目的开发的一款实时课堂监测系统。
本项目主要监测课堂的出勤人数、学生的上课状态、教师的语速、情感,以及语言的用词方面。项目中语音的模型均采用EasyDL平台进行训练,调用在线API进行预测分析。而图像模型由于在线API无法达到实时性的要求,采用本地训练Paddle模型库中的模型并使用。
CPU:Intel 酷睿 I7-7700 四核8线程
内存:三星 DDR4 16G
GPU:NVIDIA GTX1070 8G
OS:Windows 10
IDE:PyCharm 2019.2.4
ffmpeg(需要加入环境变量)
Python 3.7
CUDA10 CUDNN7.3
baidu_aip==2.2.18.0 jieba==0.39 opencv_python==4.1.1.26 requests==2.22.0 PyMySQL==0.9.3 paddlepaddle_gpu==1.6.0.post107 numpy==1.16.5 Pillow==6.2.0 PyQt5==5.10.1
EasyDL平台的快速训练和快速上线是目前人工智能开发进程中的一大亮点,能够作为项目中的一个在线API进行快速调用。但是在线调用非常受网速限制,对于图片这种体积较大的文件则更加耗时,在实时性方面有待提高。但是本地部署需要企业帐号,对于一部分开发者来说无法实现。如果能将模型下载到本地进行类似SDK的方式调用,将会更好。
项目中教室内学生的位置检测以及人数统计使用Paddle模型库中的YOLOv3模型
采用我校教务处提供的一周(5天)教学视频为基础,每天视频时长14小时(8:00——22:00,有前后两个摄像头),每隔10分钟截取一张图片,一共289张图片,进行人为手工标准(EasyDL平台上也有相同模型)
在本机上以batch_size=2,一共训练20000轮
在目标检测将学生位置识别出来之后,将这些学生图像单独抠出来放入到图像分类模型中进行分类,分为:正常听课、看手机、睡觉、站立,采用Paddle模型库中的ResNet模型,56层
在上一步目标检测标注完的数据集基础上,将所有学生抠出来保存成单独的图片,进行分类,一共正常:2431张,看手机:1149张,睡觉:189张,站立:56张
为了不让数据样本偏差太大,随机抽取比较平衡的数据量:正常:300张,看手机:300张,睡觉:189张,站立:56张
以batch_size=8,进行100轮的训练
top1 acc=0.7
使用Paddle模型库中Senta情感分类模型进行文字的情感倾向分析
从互联网中查找在课堂场景中的语言文本,分为积极、消极两类
本项目中的所有监测功能均采用线程的方式进行识别
对于GPU的调用、UI的刷新都用线程锁进行控制
总监控页显示了对于所有教室的统筹监控,显示该课堂的基本信息以及教室内的学生人数
用户可以在教学楼栏里按照校区、教学楼、楼层进行筛选
在状态栏里可以根据该教室是上课还是下课进行筛选
在本页面中首先展示教室内学生状态的检测,对于玩手机的学生以用红色圈出,睡觉的学生用黄色圈出,站立的学生用蓝色圈出,同时描绘柱状图
下面展示教师的监控视频,检测教师的语速、情感,用折线图显示
右边显示识别出来的教师语音,有情感分析和敏感词识别
在回看列表里面显示已经上过的课程的列表
在这里可以看到对于一堂课中教师、学生出现的异常状态的记录
该功能由于帐号管理问题,未开发完全
机器学习算法AI大数据技术 搜索公众号添加: datanlp长按图片,识别二维码
阅读过本文的人还看了以下文章:
TensorFlow 2.0深度学习案例实战
基于40万表格数据集TableBank,用MaskRCNN做表格检测
《基于深度学习的自然语言处理》中/英PDF
Deep Learning 中文版初版-周志华团队
【全套视频课】最全的目标检测算法系列讲解,通俗易懂!
《美团机器学习实践》_美团算法团队.pdf
《深度学习入门:基于Python的理论与实现》高清中文PDF+源码
《深度学习:基于Keras的Python实践》PDF和代码
特征提取与图像处理(第二版).pdf
python就业班学习视频,从入门到实战项目
2019最新《PyTorch自然语言处理》英、中文版PDF+源码
《21个项目玩转深度学习:基于TensorFlow的实践详解》完整版PDF+附书代码
《深度学习之pytorch》pdf+附书源码
PyTorch深度学习快速实战入门《pytorch-handbook》
【下载】豆瓣评分8.1,《机器学习实战:基于Scikit-Learn和TensorFlow》
《Python数据分析与挖掘实战》PDF+完整源码
汽车行业完整知识图谱项目实战视频(全23课)
李沐大神开源《动手学深度学习》,加州伯克利深度学习(2019春)教材
笔记、代码清晰易懂!李航《统计学习方法》最新资源全套!
《神经网络与深度学习》最新2018版中英PDF+源码
将机器学习模型部署为REST API
FashionAI服装属性标签图像识别Top1-5方案分享
重要开源!CNN-RNN-CTC 实现手写汉字识别
yolo3 检测出图像中的不规则汉字
同样是机器学习算法工程师,你的面试为什么过不了?
前海征信大数据算法:风险概率预测
【Keras】完整实现‘交通标志’分类、‘票据’分类两个项目,让你掌握深度学习图像分类
VGG16迁移学习,实现医学图像识别分类工程项目
特征工程(一)
特征工程(二) :文本数据的展开、过滤和分块
特征工程(三):特征缩放,从词袋到 TF-IDF
特征工程(四): 类别特征
特征工程(五): PCA 降维
特征工程(六): 非线性特征提取和模型堆叠
特征工程(七):图像特征提取和深度学习
如何利用全新的决策树集成级联结构gcForest做特征工程并打分?
Machine Learning Yearning 中文翻译稿
蚂蚁金服2018秋招-算法工程师(共四面)通过
全球AI挑战-场景分类的比赛源码(多模型融合)
斯坦福CS230官方指南:CNN、RNN及使用技巧速查(打印收藏)
python+flask搭建CNN在线识别手写中文网站
中科院Kaggle全球文本匹配竞赛华人第1名团队-深度学习与特征工程
不断更新资源深度学习、机器学习、数据分析、python 搜索公众号添加: datayx