汉语大字典给力版《中国安防》8月刊邀请了苏南某市公安局大数据管理中心专家和高新兴科技集团专家共同编撰了“智能运维系统关键技术研究及应用”一文。

　　本文首先提出一套智能运维系统架构，基于该架构可实现完善的资产管理和智能化的综合检测诊断功能，同时面向海量视频运维场景，提出基于计算机视觉和深度学习理论框架的视频质量诊断算法和视频OSD检测识别技术，可实现对视频异常和视频OSD规范性的自动检测和告警。

　　自“平安城市”项目起，各类“智慧城市”“雪亮工程”项目建设今已陆续开展了近20 年，20 年间大型项目建设速度不断加快、视频监控规模不断扩大、设备种类庞杂、终端数量巨大、联网结构日益复杂。近年来，人工智能物联网（AIoT）等技术持续更迭，辅助城市“智”理达到新水平新高度，但是“重建设，轻运维”带来的弊端逐步显现。老旧系统面临更新换代，新建系统体量和复杂度再创新高，维护难度和成本呈爆发式增长，高质量智能运维系统的研究和落地应用迫在眉睫。

　　随着视频监控系统的普及应用，智能运维系统相关领域也产生了相关研究成果。针对设备种类多、监管不全面等问题，设计实现了设备运行自动检测、各类告警统一流程化处置，以及运维工作的量化考核机制，提高了整体运维效率[1]。针对当前国内政策规范对视频运行质量的高要求与实际运行保障投入之间的矛盾，以及快速扩张的市场规模和运维保障工具匮乏之间的矛盾，以实际项目为例，概述了其视频运维产品的功能特点和应用效果[2]。“十四五”期间，利用一体化智能运维管理平台工具，将安防行业视频监控运维服务推向系统化、专业化、产业化、智能化、可视化、运营化的必然趋势[3]。

　　1. 灵活性较低：不支持配置管理数据库的动态建模，新增一个设备类型、一个字段都需要改代码，工作量大；对监控任务采取了简单粗暴的单任务模式，所有同类型设备采取同样的采集频率、采集周期，无法支持每个项目的灵活需求。

　　2. 联动效果差：运维系统内部无法统一管理子系统资产，导致运维人员无法掌握全局资产信息；系统内部各模块没有打通，可能出现一个告警需要在多个系统多次处理的情况，子系统间缺少联动，低效耗时。

　　3. 移动功能少：缺少配套的移动终端APP 或相应功能不完善，无法在线下巡检的场景使用，难以发挥智能运维系统的效用。

　　针对上述问题，本文对实战场景下智能运维系统的关键技术进行了深入研究：一是面向智慧城市大规模视频联网监控系统运维需求，对智能运维系统架构进行优化设计，在满足主体功能的情况下，提高系统的组件化程度，实现按需定制；二是提出基于计算机视觉和深度学习的视频质量诊断技术，实现视频异常自动诊断、告警；三是提出基于深度学习的视频OSD识别技术，针对OSD识别难度大的问题，设计多重优化网络模型，提升整体识别精度。最后，介绍本项目在江苏省某地市“雪亮工程”项目中的应用示范效果。

　　本文提出的智能运维系统业务架构如图1 所示，主要包含资源层、数据处理层、平台层、应用层和展示层。资源层负责接入所有IT 基础设施，例如摄像机、服务器、交换机、数据库及自定义的运维对象等；数据处理层包括数据采集模块和调度中心，前者负责采集摄像机状态，对视频画面进行质量诊断、视频OSD识别、平台运行信息采集，以及生成告警信息等，后者负责任务调度和数据存储；平台层需要接入视频联网系统、统一应用平台和一机一档系统；应用层主要包括资产配置与管理、运维综合管理、工单管理和运维考核，实现资产、运维、工单和考核的联动管理；展示层主要是通过大屏、统计报表等多种可视化方式对运维系统的工作过程和结果进行展示。

　　可实现对各业务部门不同应用场景下的资源资产提供配置管理、信息整合、模型配置、资产建模、流程管理、生命周期管理、“一机一档”管理等综合管理应用。可实现资源资产统一录入审核校验管理，可作为资产服务平台向其他应用系统、业务系统、管理系统等提供可控可信可拓展的统一资产服务接口，真正实现资产数据的统一使用、统一管理、统一维护、“一数一源，一源多用”的应用要求。

　　可通过视频国标GB/T 28181 接口、视频图像信息GA/T 1400接口、IT 标准SNMP/WMI 接口、其他标准接口、私有接口等协议对接实现对视频图像相关各类不同应用的各层域进行多接口综合智能运维监测诊断，主要包括：支持在服务层实现对视频应用系统、视图库应用系统等的服务稳定性、可用性进行监测评价；支持应用层实现对视频摄像机、视频图像数据的在线指标、合格指标、合规指标、质量指标、时延指标、时效指标、重复指标等进行监测诊断评价；支持网络层实现对IT 基础网络设备、网络链路、拓扑结构的连通性、资源使用率、带宽流量、丢包错包率等进行监测诊断评价，实现对视频应用全维度的智能化综合监测与评价支撑。

　　面对数量庞大且不断增长的视频监控设备，巨大的运维工作量和严格的完好率考核目标[4]对于传统的人工检测处理方式而言是不可承受之重。因此，采用计算机视觉技术对视频图像质量进行自动诊断和告警，实现对视频监控系统运行状态的自动化检测是提高视频监控系统运维效率，保证视频监控系统正常可用的必由之路[5-6]。

　　视频质量诊断算法需支持对系统接入的大量摄像机视频进行全天候的自动轮巡诊断，一旦发现异常的视频图像，立即生成告警信息并向上级推送。本文提出的视频质量诊断算法GoPPLCNet，将计算机视觉和深度神经网络进行结合，实现了对视频图像的多种故障诊断，包括无信号检测、黑屏检测、雪花检测、条纹检测、遮挡检测、偏色检测、偏亮检测、偏暗检测、模糊检测、抖动检测等功能，大幅降低人工轮巡的工作量。

　　GoPPLCNet 视频质量诊断算法在mobileNetV2[7] 的基础结构上进行改进，支持部署在CPU 端侧。主要改进包括一是采用H-Swish 激活函数；

　　二是对模型尾部结构进行了3 个改变，分别为预测头和多类别分类头、添加SE 模块、更大的卷积核。

　　GoPPLCNet 算法在实战场景中的测试结果如表1 所示，其中检出率和误检率定义见式（1）（2）。从表1 可知，各异常类型（条纹除外）的检出率均超过99%，平均检出率99.61%，平均误检率0.98%。条纹异常的检出率略低，为98.72%，究其原因是因为实际情况中，条纹异常复杂多变，且现实图像中有较多呈现“条纹”的正常图像，例如卷帘门、条纹砖、门、地板、瓷砖等，故造成条纹异常的检出率指标略低。总体来讲，本文提出的视频质量诊断算法性能指标完全达到实战要求，可以满足实际情况下巨量的视频运维需求。

　　视频OSD检测技术即从视频画面中识别出OSD（On Screen Display）字符，包括中文、数字、字母、符号，并输出其在视频画面中位置的技术[8-9]。智能运维系统中主要包括对普通视频OSD、人像卡口（人卡）OSD、车辆卡口（车卡）OSD检测和识别，其中普通视频要求准确识别出画面中显示的时间、地点、地点行数，人卡和车卡要求识别出画面中是否存在时间、地点信息。

　　通过分析大量的监控视频画面，发现画面中的字符位置、字符大小、字体等并没有特别统一的形式，但是从目标和背景的显著性对比看，夜间的OSD 比白天的要清晰。然而，从技术层面分析，视频OSD识别有两个主要的难点和挑战。

　　普通视频的OSD字符较大、位置较为固定，具有一定的分布规律，例如地点OSD总是聚集在一起，时间OSD总是和地点OSD距离较远，两者总是同时出现；但是车卡OSD中的字符占整个画面的比例更小，整体目标也更小，位置不固定，故需要输入更高的分辨率来做字符检测。

　　①中文字符空间有6000+，不同字符组成的句子具有不同的语义特征，而且中文语句的丰富度非常高，导致训练样本很难覆盖整个语言语义系统，要求算法必须在非常大的训练集上训练，识别难度提升的同时直接带来了训练成本的上升。

　　②字符显示和背景差异太小，字符完全/ 部分消失在背景中，导致整个字符串的语义信息发生改变，时间字符串里如果少了一个数字，整个时间的识别结果就错了。具体来说，时间识别总共有14位数字（YYYYMMDDHHMMSS）， 暂不考虑数字位置信息，仅要求14 位数字全部识别正确，即单次目标识别中，将14 个目标同时准确识别出来，如果单个字符识别准确率为99%，假设每个字符的识别独立，理论上讲，14 位时间字符识别的准确率就是99% 的14 次方，仅为86.87%，识别精度提升非常困难。

　　由于大型的视频监控系统往往接入数万路视频，因此视频OSD识别的精度必须足够高，否则对于减轻人工的帮助就意义不大。例如在90% 的识别精度下，1 万路视频仍然会产生1000 路误识，而人工再去筛查这1000 路视频的工作量仍然很大。因此结合实战要求和技术难点，本文定义了如下的性能指标：字符检出率大于97%、时间识别精度大于99%、地点识别精度大于97%。

　　针对以上功能和性能要求，本文提出基于计算机视觉和深度学习理论的视频OSD识别技术方案。如图3 所示，首先对输入的视频帧进行OSD区域检测，然后进行时间、地点和背景区域的分类，再分别对时间区域和地点区域进行识别。时间区域，首先要进行时间数字逐字符检测，按照检测结果对时间字符的位置进行重定位，然后再进行时间信息识别；地点区域直接进行地点信息识别。最后，输出识别的OSD 结果。本方案中共用到两个检测模型、一个分类模型和两个识别模型，均采用了轻量化的处理，减少模型耗时，实现日均分析10000 路，同时达到性能指标要求。

　　考虑到耗时要求，本文选用Yolov4 模型来完成OSD区域检测任务。由于直接使用真实数据涉及到信息安全问题，故本文通过数据增强、数据合成（字体多样、字号多样、位置多样、背景和字体颜色多样等策略）等手段生成了300 万的大型训练集，再通过加载COCO 预训练模型，将Yolov4 在COCO 数据集上的能力迁移到OSD检测任务中。利用真实数据测试来引导模型实现了检出率＞ 97%、误检率＜ 2% 的性能指标。

　　本文提出的OSD识别模型基线版为CRNN（Convolutional Recurrent Neural Network，卷积循环神经网络）， 该模型主要依靠CNN提取图像特征，LSTM（Long Short-TermMemory，长短时记忆网络）进行序列推理，配合CTC 损失函数进行不定长的字符识别[10]。在此基础上，本文将模型主干改为ResNet34[11]，并对下采样模块进行改进。同时选择多样的数据增强策略的随机组合、AdamW 优化方法以及OneCircle 学习率调整方法等优化策略，提升模型的识别能力。

　　本文所述的时间OSD识别模型可以做到对多种不同类型的时间信息输入，均识别输出为同一种形式的时间信息，这样可以保障面对复杂多变的时间OSD信息，均能有效提取到关键信息。

　　本文提出的智能运维管理系统在江苏省某地市“雪亮工程”项目上线后，共接入视频监控设备5 万多路，车辆卡口设备6000 多路，物理机服务器、虚拟机服务器、软件平台等设施。系统支持对普通监控类设备的视频流检测、视频质量诊断、录像质量诊断、OSD检测识别等日常巡检任务。支持人脸卡口、车辆卡口的抓拍数据量检测、时钟准确率、图片合格率、url 可用率、OSD 字幕叠加准确率统计，支持服务器系统和性能的实时运行监控，下级软件平台的实时运行监控等功能。

　　视频质量诊断支持对信号丢失、普通噪声、黑屏、抖动、遮挡、偏色、过亮、过暗、模糊、条纹异常检测，同时支持对画面静止、视频卡顿、云台运动速度异常、场景剧变异常、场景变更等视频质量异常情况进行检测。目前智能运维系统支持5万路设备的日常巡检任务，支持其中2 万多路省厅考核设备的每日两检。

　　视频OSD检测支持对视频设备的时钟标注是否规范、字幕叠加是否规范等OSD进行检测和识别，目前系统支持5 万路设备的日常巡检任务，支持其中2 万多路省厅考核设备的每日两检和其中7百多路省厅重点考核设备的每日两检。

　　江苏省某地市“雪亮工程”一期建设项目——运维管理系统上线以后，在全省视频考核结果中，该地市由原来的60%-70% 的视频在线% 的视频在线%+ 的视频在线率考核结果；在全省的图像考核得分排名中，由原来全省的第十一、十二名提升到目前的全省第一、二名，充分证明了智能运维管理系统的价值和作用。

　　针对目前视频监控运维存在的突出问题，本文提出一套智能运维系统架构，基于该架构可实现完善的资产管理和智能化的综合检测诊断功能。进一步，本文基于计算机视觉和深度学习理论框架，提出视频质量诊断算法和视频OSD检测识别技术，可实现对视频异常和视频OSD 规范性的自动检测和告警。本文所述产品在江苏省某地市“雪亮工程”上线应用，助力该地市视频考核成绩大幅提升，充分证明了智能运维管理系统的价值。

　　目前，智能运维系统主要应用在公安、交通等规模较大的行业，随着运营商在智慧社区、校园、医院、工业园区等场所的视频上搭载AI 算法应用，小型、轻量化的视频运维平台和工具在可预见的未来会出现需求的井喷阶段。近年来，AI 和大数据技术快速发展，使得智能运维系统的故障精准定位能力大幅提高，但是故障自动分析、故障原因排查以及维护指导意见的自动生成将是智能运维平台重点研究方向。另外，智能运维服务上云也是大势所趋，未来根据客户需要实现智能运维的云端部署和资源按需分配，将最大化地满足客户需求并提升资源利用率。

　　单张GPU卡性能从15000路/天，提升到10000路/小时，算法准确率达到99%；

　　目前，已在全国十余个城市项目中落地应用，为视频联网提供智能运维检测能力，并保障视频应用稳定规范。