当代智能监控平台不乏功能强大的产品,但由于涉及模块、组件多,产品容易臃肿,对私有化场景增加了一定的阻碍。于是,轻量化智能监控平台很有必要。
下面为大家一一介绍~
01. WVP是什么?
WEB VIDEO PLATFORM是一个基于GB28181-2016标准实现的开箱即用的网络视频平台,负责实现核心信令与设备管理后台部分,支持NAT穿透,支持海康、大华、宇视等品牌的IPC、NVR接入。支持国标级联,支持将不带国标功能的摄像机/直播流/直播推流转发到其他国标平台。
02. 基于WVP平台的智能监控产品
在WVP开源框架的基础上进行重构和融合,把强大的业务功能与WVP开源的强大底层视频支撑能力进行结合,构建新的智能监控平台。新的智能监控平台更加轻量化、功能更全面、部署更快捷。
03. Web服务端技术架构
各组件责任与功能:
1. 摄像头:提供视频流(国标摄像头需注册到Sip服务器);
2. Sip Server:国标摄像头sip信令鉴权,提供国标摄像头注册、注销、心跳,保活、开流、关流等一系列摄像头服务;
3. ZLMediaKit:流媒体服务器(一个基于C++11的高性能运营级流媒体服务框架),提供各种视频流协议推拉流直播点播等服务;
4. KubeEdge:一套开源的边缘计算平台,负责从MediaKit拉取视频流,抽帧,调取AI接口获取事件,并存放到Kafka消息队列中,实时监控设备在离线状态等;
5. AI服务:提供多种人脸识别,入侵检测,吸烟检测等多种算法的AI服务;
6. OSS:AI事件的图片、视频等储存服务,由KubeEdge实时上传;
7. Kafka:消息队列(KubeEdge与Web服务端之间),存放与传输KubeEdge检测出的AI事件;
8. Web Server:web服务端,提供设备管理、技能管理、事件管理、数据统计、数据分析等一系列web后端功能;
9. MongoDB:云存事件、AI事件的储存;
10. Mysql:Web服务端数据的储存;
11. Milvus数据库:储存人脸特征向量,并提供一系列人脸比对功能;
04. 摄像头技能下发时序图
上图描述了如何赋予摄像头AI技能:
1. 前端将页面每个摄像头配置了对应技能的信息按照一定的格式储存为json字符串传递给web服务端 ;
2. Web服务端将摄像头技能信息储存数据库同时,透传并下发给边缘端,消费Kafka的AI事件;
3. KudeEdge实时从MediaKit拉取视频流,并根据Web服务端下发的技能信息进行抽帧,调AI接口,并将检测到的事件上传到S3,存入Kafka消息队列;
4. S3:储存来自KudeEdge上传的图片与小视频,并提供URL下载地址;
5. Kafka:接收从KudeEdge生产过来的事件,提供给Web服务端进行消费。
05. 国标摄像机SIP信令注册流程图
1. 提前分配好摄像头用户名密码。
2. 国标摄像机后台填写好Sip服务器IP,用户名密码,国标Id,通道ID等相关信息,点击确定。
3. 摄像头会主动向填写的Sip地址发送注册请求。
4. Sip服务器会携带相关的鉴权字段,并返回401。
5. 摄像头拿到鉴权信息并重新发送注册请求,返回200成功。
该鉴权方法为Digest鉴权算法,常用于国标摄像机,1400摄像机等注册流程。
06. 国标摄像头实时开流技术架构
1. 媒体流接收者向SIP服务器发送 Invite消息;
2. SIP服务器收到Invite请求后,向媒体服务器发送 Invite消息;
3. 媒体服务器收到SIP服务器的 Invite请求后,回复200 OK响应;
4. SIP服务器收到媒体服务器返回的200 OK响应后,向媒体流发送者发送 Invite请求;
5. 媒体流发送者收到SIP服务器的Invite请求后,回复200 OK响应;
6. SIP服务器收到200 OK响应后向媒体服务器发送ACK请求, 完成与媒体服务器的Invite会话建立过程;
7. SIP服务器收到媒体流发送者返回的200 OK 响应后,向媒体流发送者发送ACK请求,完成与媒体流发送者的Invite会话建立过程;
8. 完成三方呼叫控制后,SIP服务器通过B2BUA代理方式建立媒体流接收者和媒体服务器之间的媒体连接;
9. 媒体服务器收到Invite请求,回复200OK响应,携带SDP消息体,消息体中描述了媒体服务器发送媒体流的IP端口、媒体格式SSRC值等内容;
10. SIP服务器将消息9转发给媒体流接收者;
11. 媒体流接收看收到200 OK响应后回复ACK消息,完成与SHP服务器的Invite会话建立过程;
12. SIP服务器将消息11转发给媒体服务器完成与媒体服务器的-Invite会话建立过程;
13. 最终两端都收到ack确认码后,媒体服务器将实时流推送给媒体接收者(播放端)。
07. 功能展示
总览页如下图:
支持的核心功能:
1. 支持海康,RTSP,国标等多种协议;
2. 技能配置;
3. 技能下发;
4. 事件的告警,统计等数据可视化,数据分析;
5. 设备管理;
6. 地图定位;
7. 云存回看;
8. 实时播放;
9. 车牌库;
10. 人脸库管理。
已实现的AI技能如下图:
08. 技术创新
使用MongoDb取代原先的Mysql来接收事件数据:
假如一家企业接入100路摄像头,每个摄像头平均5秒产生一个事件,预计每天将会有接近200万的数据进入数据库。对于海量数据库存储,为提高存储和查询效率,决定使用MongoDB。(Mysql:90ms, Mongo:10ms)
边缘端使用KubeEdge灵活调度盒子:
无需手动配置摄像头给盒子。根据负载情况灵活将摄像头分配到不同盒子(pod)。以前一个盒子就是一个单体,机器跑着一个服务,现在集群方式,服务跑在pod(盒子)上,可灵活调度pod。缓解摄像头拉流,抽帧,调AI接口等高频操作的压力,提高效率。
事件的图片和小视频分两次上报:
能更快获取到时间信息,提高告警时效性。
文章浏览阅读871次,点赞11次,收藏3次。*单片机设计介绍, 基于51单片机冰箱温度控制器设计。_基于51单片机的智能冰箱控制系统设计
文章浏览阅读4.8k次。一、sftp服务器进入root模式(下面的操作默认都是在root用户下)#安装openssh-serverapt-get install -y openssh-server创建sftp的组和用户#创建sftp-users组groupadd sftp-users#创建sftp用户目录alicemkdir /home/alice#创建sftp用户alice,并且绑定其主目..._ubuntu sftp服务器查看用户和密码
文章浏览阅读5.9k次,点赞9次,收藏16次。解决了在simulink中使用s-function遇到的报错:State derivatives returned by S-function 'demo' in 'test/S-Function' during flag=1 call must be a real vector of length 2 _state derivatives returned by s-function 'pmsm' in 'ipmsm/ipmsm/s-function1
文章浏览阅读3.1k次。1. 打开配置文件Mac 如下图2. 在文件内部添加这段文字,就可以了:"update_check":false _mac sublime text 取消更新提示
文章浏览阅读548次,点赞10次,收藏6次。Linux系统下DNS配置指南_linux 服务器修改网络dns
文章浏览阅读779次,点赞19次,收藏24次。springboot微信小程序的小疾病问诊服务系统的设计与实现。springboot基于spring的物业管理系统的设计与实现。springboot基于Java的高校学生请假系统。ssm基于Android的购物商场APP设计与实现。springboot基于微信小程序的智慧校园系统。ssm基于Android的英语词典的设计与开发。ssm基于SSM+Vue的学生实践管理平台开发。ssm基于android的企业员工考勤系统。ssm基于web的暗香小店系统的设计与实现。ssm基于Web的高等学校公费医疗管理系统。
文章浏览阅读551次,点赞23次,收藏7次。mit6.824的lab1,实现MapReduce_mitmapreduce实现csdn
文章浏览阅读6.6k次,点赞10次,收藏82次。在刚开始学Android开发时,下载好了Android studio,但是不知道如何下手,现在就通过一个简单的小项目熟悉如何使用这个软件进行Android开发。前提:下载好Android studio并配置好相关环境。首先介绍一下Android开发过程中需要修改的三类文件:位于java包下的各类activity文件:实现了用户与软件的交互,主要为java代码实现。位于res包下的.xml文件:在layout包里的为布局文件,即Android界面显示的视图,而drawable里则放置了某个控件的_android studio简单项目
文章浏览阅读3.5k次。一、Bootstrap 弹出框弹出框控件类似于提示框,它在鼠标点击到元素后显示,与提示框不同的是它可以显示更多的内容。注意: 弹出框要写在 jQuery 的初始化代码里: 然后在指定的元素上调用 popover() 方法。1.1 基本弹出框通过向元素添加 data-toggle=“popover” 来来创建弹出框。title 属性的内容为弹出框的标题,data-content 属性..._bootstrap 弹出框
文章浏览阅读226次,点赞2次,收藏3次。本项目设计了一款可以触摸控制的天气显示器。主要由Wemos D1 Mini Pro和TFT显示屏组成,利用Wemos D1 Mini Pro作为设备的主控芯片,发出Wi-Fi信号并接收相应指令,通过调用API将接收到的信息传输到TFT显示屏,TFT显示屏将接收到的信息显示出来。该天气显示器实现对所在地区当前的时间与日期;当日的天气信息,如温度、压力、湿度、降雨量;七天的未来预测等功能的显示。设计采用Wemos D1 Mini Pro,利用API将实时获取的天气信息,通过TFT显示屏显示出来。_arduino wemos d1 mini
文章浏览阅读653次。public void initDiffDisplay() { try { DisplayManager displayManager = (DisplayManager) getSystemService(Context.DISPLAY_SERVICE); Display[] presentationDisplays = displayManager.getDisplays(); if (presentationDi._android service 检测是否双屏
文章浏览阅读530次,点赞23次,收藏10次。springboot+mybatisplus+mysql 用户端 uniapp(vue语法)管理后台 vue+elementUi。后台服务 springboot+mybatisplus+mysql。一、我们技术使用JAVA后台服务 前后端分离。管理后台 vue+elementUi。用户端 uniapp(vue语法)适配小程序+H5+公众号。私信客服获取演示地址。私信客服获取演示地址。