
1.一种基于单OMS摄像头的疲劳检测系统,其特征在于,包括依次连接的OMS摄像头总
所述OMS摄像头总成安装在车辆的内置后置镜中,用于对车内人员进行数据采集;
所述芯片板用于接收OMS摄像头总成采集的数据和对该数据进行解析,获取驾驶员的
所述IVI人机交互系统用于接收芯片板的疲劳数据,并根据该疲劳数据向驾驶员发出
2.根据权利要求1所述的一种基于单OMS摄像头的疲劳检测系统,其特征在于,所述OMS
摄像头总成包括依次连接的摄像头、图像采集器和ISP图像处理器,所述ISP图像处理器与
3.根据权利要求1所述的一种基于单OMS摄像头的疲劳检测系统,其特征在于,所述芯
片板包括依次连接的视频解码器、主计算单元、AI算法单元,所述视频解码器与OMS摄像头
4.根据权利要求1所述的一种基于单OMS摄像头的疲劳检测系统,其特征在于,所述IVI
人机交互系统包括IVI显示屏和/或IVI音效模块和/或安全带振动器,用于向驾驶员发出显
S2、通过芯片板对所述图像数据进行解析,判断所述图像数据中是否有人脸数据,若有
S5、根据驾驶员的人脸数据中的嘴巴轮廓点和眼圈轮廓点的变化趋势拟合出打哈欠样
S6、判断所述打哈欠样本和打瞌睡样本的持续时间及图像间的稳定性,若持续时间及
6.根据权利要求5所述的一种基于单OMS摄像头的疲劳检测方法,其特征在于,步骤S1
中,通过安装在车辆的内置后视镜中的OMS摄像头总成获取车内人员的图像数据。
7.根据权利要求5所述的一种基于单OMS摄像头的疲劳检测方法,其特征在于,步骤S4
的对驾驶员的人脸数据进行轮廓点检测,基于轮廓点的变化趋势和深度学习模型做时间判
断,若人脸数据的Yaw和Pitch值超出预设阈值,则检测失败并返回步骤S2;若检测成功,则
8.根据权利要求5所述的一种基于单OMS摄像头的疲劳检测方法,其特征在于,步骤S6
9.根据权利要求8所述的一种基于单OMS摄像头的疲劳检测方法,其特征在于,还包括
步骤S7,IVI人机交互系统在收到所述疲劳信号后,根据疲劳信号的定级结果向驾驶员发出
10.根据权利要求9所述的一种基于单OMS摄像头的疲劳检测方法,其特征在于,所述
IVI人机交互系统根据疲劳信号的定级结果以显示和/或声音和/或安全带振动和/或收紧
本发明属于汽车辅助驾驶技术领域,更具体涉及一种基于单OMS摄像头的疲劳检
目前,自动驾驶水平距离自动驾驶的最终概念(L5级)还相距甚远,能够实际运用
的等级仅到L2‑L3级,因此,驾驶系统中驾驶员的参与仍然是必不可少的;为了确保行车的
安全性,需要对驾驶员的驾驶状态进行实时检测,因此,各汽车制造商和相关政策法规都在
积极导入驾驶员监控系统,即DMS。DMS摄像头通过采集驾驶员的实时驾驶状态‑‑驾驶员的
闭眼次数以及打呵欠次数等,结合驾驶时长来判断驾驶员是否疲劳驾驶,并通过声音、安全
OMS作为DMS的延申,即乘客监控系统,则负责座舱内乘客的安全监测,如安全带警
U29;所述控制器U29的输入端连接摄像头,输出端连接扬声器提醒电路;还具有4G智能模块
U27和传感器U8;所述控制器U29通过4位双向电压电平转换器U19与4G智能模块U27相连;所
述传感器U8与4G智能模块U27相连。该实用新型用于行车监控设备技术领域,能够对车辆司
机是否疲劳驾驶进行检测,提醒司机注意周围的行人和车辆,减小危害发生的可能性。
现有技术的DMS和OMS均采用独立方式,并且DMS通常布置在仪表盘、驾驶舵或者主
驾驶侧A柱等位置,对车内空间及美观度产生影响,布置在仪表盘处时,还会对仪表盘的显
为解决上述问题,本发明提供了一种基于单OMS摄像头的疲劳检测系统及方法,基
于单OMS摄像头,通过将疲劳检测功能集成到OMS摄像头中,在不搭载DMS摄像头的配置下,
仅通过OMS摄像头实现疲劳检测功能,能够在保证基础功能的前提下大幅降低成本,提高用
为了解决上述技术问题,本发明采用的技术方案是这样的:一种基于单OMS摄像头
的疲劳检测系统,包括依次连接的OMS摄像头总成、芯片板和IVI人机交互系统;其中,
所述OMS摄像头总成安装在车辆的内置后置镜中,用于对车内人员进行数据采集;
所述芯片板用于接收OMS摄像头总成采集的数据和对该数据进行解析,获取驾驶
所述IVI人机交互系统用于接收芯片板的疲劳数据,并根据该疲劳数据向驾驶员
作为优化,所述OMS摄像头总成包括依次连接的摄像头、图像采集器和ISP图像处
作为优化,所述芯片板包括依次连接的视频解码器、主计算单元、AI算法单元,所
述视频解码器与OMS摄像头总成连接,AI算法单元与IVI人机交互系统连接,并向其发送疲
作为优化,所述IVI人机交互系统包括IVI显示屏和/或IVI音效模块和/或安全带
基于上述系统,本发明还提供了一种基于单OMS摄像头的疲劳检测方法,包括以下
S2、通过芯片板对所述图像数据进行解析,判断所述图像数据中是否有人脸数据,
S5、根据驾驶员的人脸数据中的嘴巴轮廓点和眼圈轮廓点的变化趋势拟合出打哈
S6、判断所述打哈欠样本和打瞌睡样本的持续时间及图像间的稳定性,若持续时
作为优化,步骤S1中,通过安装在车辆的内置后视镜中的OMS摄像头总成获取车内
作为优化,步骤S4的对驾驶员的人脸数据进行轮廓点检测,基于轮廓点的变化趋
势和深度学习模型做时间判断,若人脸数据的Yaw和Pitch值超出预设阈值,则检测失败并
作为优化,步骤S6还包括,对所述疲劳信号进行定级后再发送至IVI人机交互系
作为优化,还包括步骤S7,IVI人机交互系统在收到所述疲劳信号后,根据疲劳信
作为优化,所述IVI人机交互系统根据疲劳信号的定级结果以显示和/或声音和/
本发明的OMS疲劳检测功能逻辑为,在行车过程中,摄像头实时捕捉驾驶员的闭眼
和打哈欠行为,在进行采样后,OMS结合驾驶员的驾驶行车时间以及行车速度等因子,来判
断驾驶员是否存在疲劳驾驶行为,并对疲劳驾驶的程度进行定级,根据所检测的疲劳等级
发出对应的警告给驾驶员,如声音报警、语音报警、安全带收紧或振动、仪表报警等。本发明
通过将疲劳检测功能集成到OMS摄像头中,在不搭载DMS摄像头的配置下,仅通过OMS摄像头
实现疲劳检测功能,能够在保证基础功能的前提下大幅降低成本,提高用户体验。
一种基于单OMS摄像头的疲劳检测系统,包括依次连接的OMS摄像头总成、芯片板
所述OMS摄像头总成安装在车辆的内置后置镜中,用于对车内人员进行数据采集。
所述OMS摄像头总成包括依次连接的摄像头、图像采集器和ISP图像处理器,所述ISP图像处
所述芯片板用于接收OMS摄像头总成采集的数据和对该数据进行解析,获取驾驶
员的人脸数据,并根据该人脸数据获取驾驶员的疲劳数据。所述芯片板包括依次连接的视
频解码器、主计算单元、AI算法单元,所述视频解码器与OMS摄像头总成连接,AI算法单元与
所述IVI人机交互系统用于接收芯片板的疲劳数据,并根据该疲劳数据向驾驶员
发出警告信号。所述IVI人机交互系统包括IVI显示屏和/或IVI音效模块和/或安全带振动
基于上述系统,本发明还提供了一种基于单OMS摄像头的疲劳检测方法,包括以下
S1、通过安装在车辆的内置后视镜中的OMS摄像头总成获取车内人员的图像数据。
S2、通过芯片板对所述图像数据进行解析,判断所述图像数据中是否有人脸数据,
S4、对驾驶员的人脸数据进行轮廓点检测,基于轮廓点的变化趋势和深度学习模
型做时间判断,若人脸数据的Yaw和Pitch值超出预设阈值,则检测失败并返回步骤S2;若检
S5、根据驾驶员的人脸数据中的嘴巴轮廓点和眼圈轮廓点的变化趋势拟合出打哈
S6、判断所述打哈欠样本和打瞌睡样本的持续时间及图像间的稳定性,若持续时
间及图像间的稳定性满足预设条件,则对所述疲劳信号进行定级,并向IVI人机交互系统发
S7、IVI人机交互系统在收到所述疲劳信号后,根据疲劳信号的定级结果向驾驶员
发出对应的警告信号。所述IVI人机交互系统根据疲劳信号的定级结果以显示和/或声音
具体的,本发明的系统架构大体分为三部分:OMS摄像头总成、芯片板以及IVI人机
交互系统;其中OMS摄像头总成主要负责数据采样,其包含ISP图像处理器、图像采集器、摄
像头;芯片版作为信息处理的核心,负责对采集的数据进行解码分析计算,并根据对应的疲
劳信号进行判断,将反馈报文发送到IVI人机交互系统中,由IVI人机交互系统中的显示屏、
音效、安全带震动器等与驾驶员进行交互,达到警示驾驶员的目的以及满足后续的疲劳缓
集的人脸进行预处理→进行人脸检测→判断图像中是否有人脸→结果1、有人脸则判断人
脸是否为驾驶员。结果2、没有人脸则进行下一帧的处理,流程回到图像预处理步骤→对驾
驶员人脸进行轮廓点检测→基于轮廓点变化趋势和深度学习模型做时间判断→结果1、若
人脸Yaw和Pitch值超出预定阈值(即摄像头所采图像角度过偏),则检测失败。结果2、判断
通过,根据嘴巴轮廓点和眼圈轮廓点的变化趋势拟合出打哈欠样本和打瞌睡样本→判断样
本持续时间和图像间的稳定性是否足够→若不足则跳出处理下一帧信号,足够则输出疲劳
其中,关于摄像头,具体要求如下。第一,摄像头的参数,系统必须提供高质量的图
像,以便在夜间、隧道或者恶劣的低光天气条件下进行可靠的视觉处理。第二,摄像头的布
置位置,针对疲劳检测功能的最优布置位是仪表盘或者方向盘舵柱,然而本发明的系统基
于单OMS摄像头,需要满足OMS的其余功能要求,也就是需要对全车乘客人脸进行捕捉,因此
摄像头必须安装在内置后视镜中或其他能够采集到整车车内人员的位置。第三,本发明的
系统可以采用自身的ECU,也可以集成到信息娱乐ECU中,总的算力成本差别不大,但有可能
本发明的OMS疲劳检测功能逻辑为,在行车过程中,摄像头实时捕捉驾驶员的闭眼
和打哈欠行为,在进行采样后,OMS结合驾驶员的驾驶行车时间以及行车速度等因子,来判
断驾驶员是否存在疲劳驾驶行为,并对疲劳驾驶的程度进行定级,根据所检测的疲劳等级
发出对应的警告给驾驶员,如声音报警、语音报警、安全带收紧或振动、仪表报警等。本发明
通过将疲劳检测功能集成到OMS摄像头中,在不搭载DMS摄像头的配置下,仅通过OMS摄像头
实现疲劳检测功能,能够在保证基础功能的前提下大幅降低成本,提高用户体验。
案,本领域的普通技术人员应当理解,那些对本发明的技术方案进行修改或者等同替换,而
开云电子竞技股份有限公司是一家专注于神经技术与生物信号反馈研究的科技创新企业,成立于2008年,总部位于泉州晋江市。公司基于脑电图和心率变异性分析技术,为电竞选手提供专注度评估准确率达95%的精准监测方案,通过超过10万组生物数据建模经验,建立了完整的“监测-反馈-调整”实时闭环训练系统。