固定角度鸟瞰视角下小目标的检测和识别
在很多场合,因为场地比较大,需要在最高处架设鸟瞰相机观察全景.
鸟瞰模式拥有非常好的视野,但是也为因为视角太广,导致观察的目标变得很小,如果使用传统的目标识别,目标检测算法,针对这么小的目标检测是个难度极大的挑战.
我们另辟蹊径,采用帧差算法,针对移动的小目标,在2帧之间的差异,识别出来变动的区域,再通过图像分类,识别出目标的类型.
1 . 找到小目标
首先,定义运动检测的初始背景及参数,
baseImg = []
baseImg.append(None)
baseImg.append(None)
取一帧图片,灰度化后和上一帧的保存的做absdiff,结果为2帧值差异.
差异帧通过模糊处理过滤掉微小干扰,最后形成掩膜帧
掩膜帧
合成帧
整体效果
global baseImg
gray = cv2.cvtColor(currentFrame, cv2.COLOR_BGR2GRAY)
gray = cv2.GaussianBlur(gray, (MOVE_DETECT_CONV, MOVE_DETECT_CONV), 0)
if baseImg[muser] is None:
baseImg[muser] = gray
imgDelta = cv2.absdiff(baseImg[muser], gray)
mask = cv2.threshold(imgDelta, 25, 255, cv2.THRESH_BINARY)[1]
kernel = np.ones((MOVE_DETECT_CONV, MOVE_DETECT_CONV), np.uint8)
mask = cv2.dilate(mask, kernel, iterations=3)
mask = cv2.GaussianBlur(mask, (MOVE_DETECT_CONV, MOVE_DETECT_CONV), 0)
result = cv2.bitwise_and(currentFrame, currentFrame, mask=mask)
cv2.imshow('mask', mask)
cv2.imshow('result', result)
baseImg[muser] = gray
bird0.gif
2. 目标检测及过滤干扰
# 运动检测,参数及初始化基本背景图
'''
MOVE_DETECT_HW = 1.0
MOVE_DETECT_CONV = 7 # 函数卷积因子 3,7,11,13 ...
MOVE_DETECT_MAXAREA = 10000
MOVE_DETECT_MINAREA = 200
'''
cnts,_ = cv2.findContours(mask.copy(),cv2.RETR_TREE,cv2.CHAIN_APPROX_SIMPLE)
for c in cnts:
(x, y, w, h) = cv2.boundingRect(c)
personArea = int(w * h)
#print(personArea,x,y,w,h)
if (h/w)<1.0:
continue
# 过滤较小的目
if (personArea < 200) :
continue
# 过滤较大的目标
if (personArea > 10000) :
continue
cv2.rectangle(currentFrame, (x, y), (x + w, y + h), (0,0,255), 1)
3. 分类识别
# 对识别的目标图像,分割后送到深度学习模型做检测
# 本次采用的是resnet50模型,这个在分类中算是比较经典的一种,如果目标很小也可以采用resnet18,这样推理速度会更加快.
# CV图像张量化处理
image = cv2.cvtColor(image,cv2.COLOR_BGR2RGB)
image = cv2.resize(image,(224, 224))
arr = np.array(image).astype(np.float32) / 255.0
arr = arr.transpose(2, 0, 1).reshape([1, 3, 224, 224])
# ONNX Run Time
load_onnx = timer('Load ONNX Model')
ort_session = ort.InferenceSession('resnet18.onnx')
load_onnx.end()
# run( out_feed, in_feed, opt )
input_name = ort_session.get_inputs()[0].name
infer_onnx = timer('Run Infer')
outputs = ort_session.run(None, {input_name: arr})[0]
infer_onnx.end()
# 输出结果
# Get Labels
f = open('../lables.txt')
t = [ i.replace('\n','') for i in f.readlines()]
logger("Result : {}".format(t[np.argmax(outputs)]))
动态效果图
