近几年主要研科研项目与解决方案

1. 面向人的视觉信息识别与理解

(1)   人体活动识别与行为分析

      人体活动识别在智能视频监控、安防与反恐、智能家居、智能人机交互和增强现实等方面具有重要的学术研究意义和工程应用前景。本项目以人体活动时空信息描述为基础,提取场景上下文、人体动作基元等语义特征,建立层级图模型以实现人体活动的有效识别。首先,从人体活动的时空特性分析入手,建立基于深度学习的人体活动时空特征提取与描述方法。然后,研究人体活动的语义特征提取与描述方法,包括两个方面:一方面针对静态场景在高层特征空间中的分布特性,设计有效的特征抽取机制,提出场景上下文特征提取与描述方法;另一方面通过在时域和空域上分别引入注意力机制实现人体动作基元的有效提取,分析人体动作基元的不同描述方式对人体活动建模的有效性,提出人体动作基元提取与描述的有效方法。最后,研究场景上下文和不同动作基元与人体活动之间的关系,在深度学习和图模型的基础上提出深度时空层级模型实现人体活动的有效识别。.

图1 人体动作数据示意图

图2 人体动作识别示意图

图3 基于流行学习的人体动作识别

图4 基于深度学习的人体行为识别

(2)   视觉目标稳健检测与跟踪

      视觉目标方面,目前我们主要在人脸、行人、车辆等静态或运动目标检测、跟踪与识别开展研究。形成了一系列的方法和系统。下面列出了相关系统方法的UI和结果。.

(3)   空巢老人健康的智能监护系统

      以空巢老人为研究对象,通过对家居环境下老人日常行为分析,建立空巢老人智能化监测的理论和技术体系。通过对空巢老人日常生活的智能化监测,及时发现老人日常家居生活的异常信息,以图像、视频压缩技术和移动3G网络通信技术为基础建立老人异常生活信息的实时传输和快速响应的技术体系,实现对空巢老人异常生活信息的及时响应和监管。主要涉及对走路、坐下、站立等常见动作的识别,以及对摔倒等紧急异常事件的判定。系统包括android客户端,数据管理云端服务器,室内场景客户端。.

图1 老人常见行为模拟

图2 空巢老人监护框架

图3 空巢老人监护系统示意图

2. 智能机器视觉应用解决方案与系统

(1)   可视化智能飞机泊位引导系统

      利用激光扫描技术和机器视觉技术的特点和优势,根据机场飞机泊位引导的技术特点,有效的获取飞机泊位过程的空间信息与视觉图像信息,对进入泊位位置的飞机进行有效的检测和捕获,并实现飞机的身份验证与机型识别;对泊位飞机的泊位过程进行跟踪,实时解算飞机泊位的方位偏差和泊位距离信息,形成有效的飞机泊位引导信息。对泊位信息进行有效的显示,指示飞机驾驶员进行准确安全的泊位。通过上位机管理系统,对机场的各个飞机泊位系统进行有效管理和参数备份,并与机场信息系统进行有效对接,实现航班信息有效获取和管理。该系统能增强我国民航空港设备的国际影响力和竞争力,可提高我国民航机场的设备水平、运营管理水平和服务质量,具有极大的经济效益和社会效益。

(2)   智能视频监控的电梯箱人数统计

      通过对电梯箱内监控图像进行实时处理实现:对电梯箱内的人进行实时检测统计。通过人数的检测可以对电梯箱内的人流量进行统计方便物业管理等。

图1 电梯箱的人数统计技术

(3)   基于机器视觉的高铁轨道监测系统

      该系统利用机器视觉技术实现高速铁路轨道的轨道面、承轨台和轨道扣件的磨损不均、裂缝、缺失等缺陷的精确检测。主要功能为:对轨道和扣件的准确图像定位。对轨道面、承轨台和轨道扣件的缺陷进行实时检测和报警。检测参数设置灵活方便,易于操作。

图1 高铁轨道监测示意图

(4)   车载疲劳检测系统

      车载疲劳检测系统是基于人脸检测、人眼稳定特征点检测、稳健边缘检测以及人眼状态识别的综合智能识别系统,其主要功能如下:1、实现实时车载视频图像中的人脸检测。2、在人脸检测的基础上,实现人眼的准确定位。3、结合整体-局部特征,实现人眼状态识别,判定人眼的张开与闭合的状态。4、采用国际通用PERCLOSE准则,建立有效的疲劳驾驶判别规则,实现疲劳驾驶的有效检测。

车载疲劳检测系统

3. 多源遥感图像融合与智能信息挖掘

(1)   光谱图像与全色图像的融合

      针对多光谱图像和全色图像的特性,在图像多尺度表示和稀疏表示两大理论框架下深入研究了多光谱图像和全色图像的融合理论与方法,以此改善多光谱遥感图像对地物的表示能力。主要包括多尺度表示理论下的遥感图像融合(如下图前两组)和基于训练字典的遥感图像融合(如下图后两组)。.

图1 基于训练字典的遥感图像融合

图2 多尺度表示理论下的遥感图像融合

(2)   面向对象的高分辨率遥感图像分类

      传统基于像素光谱信息的分类方法在处理高分辨率遥感图像时,没有很好的利用高分辨率遥感图像的丰富的空间信息,很难区分“同谱异物”或者“同物异谱”现象,造成数据大量冗余,分类精度很难提高。面向对象的分类以分析图像对象与真实世界中地物实体的对应,可以提取对象的多种属性特征,除了光谱特征外,还包括形状特征、纹理特征、上下文特征等等,从多个方面综合描述感兴趣对象,在很大程度上提高了高分辨率遥感图像自动分类识别的精度,在国土资源调查、城市发展评估、防灾减灾和国防军事等领域具有广阔的应用前景。面向对象的分类方法主要包括三个步骤:图像分割产生图像对象;提取对象特征信息;面向对象的分类。.

图1 面向对象的高分辨率遥感图像分类

(3)   SAR图像预处理与分类

      针对SAR成像系统和SAR图像的特性,研究了SAR图像预处理与SAR图像监督分类理论与方法。SAR图像的成像机理为基础,充分考虑SAR图像像素点周围纹理信息实现有效的分类,对SAR图像的斑点噪声具有高的容忍度。首先对SAR图像数据进行噪声抑制,然后进行特征提取和稀疏表达,最后通过空间金字塔组合得到可分类向量。该方法在AIRSAR系统的L波段数据上取得了不错的分类效果,主要技术特点:采用非局部均值和二维主成分分析结合的方法对SAR图像斑点噪声进行了抑制,可以在抑制斑点噪声的同时较好保留纹理和边缘;采用多特征结合的方式利用SVM对SAR图像进行了监督分类;使用空间金字塔和稀疏表示结合的方法对SAR图像进行了监督分类,能达到较高的分类效果。和普通SAR图像相比,极化SAR图像以极化矩阵的形式,记录了地物四种极化状态下的散射回波,为分析与数据本身无关的地物的散射机制提供了良好的数据支持。对极化SAR图像进行分类主要是利用极化分解提取出具有一定表征意义的极化特征,通过对极化特征进行处理分类。主要技术特点:对极化SAR图像进行各种极化分解。包括Cloude分解,Freeman分解,四成分分解等采用经典的H-a分类和Wishart聚类方法对极化图像进行非监督分类通过样本选取训练建立分类器,利用提取出的极化特征作为输入向量对极化图像进行监督分类。.

图1 SAR图像预处理与分类

图2 极化SAR图像分类