视频足球比赛中的团队行为识别研究综述

王智文,王宇航

(1.广西科技大学计算机科学与通信工程学院，广西柳州545006; 2.桂林航天工业学院汽车与交通工程学院，广西桂林541004)

视频足球比赛中的团队行为识别研究综述

王智文1,王宇航2

(1.广西科技大学计算机科学与通信工程学院，广西柳州545006; 2.桂林航天工业学院汽车与交通工程学院，广西桂林541004)

对有计划高协同性多运动员(智能体)团队行为的理解和识别，是计算机视觉研究领域的重要研究问题之一.从视频足球比赛行为识别过程中的目标跟踪与检测、行为表示、分类器的构建及行为识别等4个方面详细分析和总结了团队行为识别研究国内外现有成果;分析了团队行为识别研究尚待解决的问题及未来研究趋势，为未来的视频足球比赛中团队行为识别及多目标行为识别的研究提供了新思路及文献参考.

目标跟踪与检测;行为表示;分类器的构建;遮挡;行为识别策略;团队行为识别;角色识别

0 引言

行为识别的目标是识别在现实生活中建立起来的人类共同行为.精确的行为识别具有挑战性，因为人类行为具有复杂性、高度多样化特征.足球比赛是一种有计划的高协同性多运动员(智能体)的团队行为.团队行为的理解和识别是计算机视觉研究领域的重要研究问题之一，有许多方面的应用，如视频监控和监测、对象视频摘要、人机交互、运动员辅助训练、比赛判罚辅助、视频检索和浏览及数字图书馆组织等.虽然单一智能体的行为识别问题已得到广泛研究，但是多智能体行为识别的研究就相对少得多.足球比赛中的行为识别受光照、视角、多尺度以及遮挡等因素的影响，且要在复杂场景下实时鲁棒地识别球队行为;因此，足球比赛中团队行为的理解和识别仍然是一个具有挑战性的研究课题，原因如下:

1)很难找到团队行为的有效描述，因为团队行为是由多人协同完成的行为，团队中个体的单独行为和团队整体行为有一定的关联性.一般不能通过观察单一智能体的单独行为来特征化球队的总行为;

2)当用局部特征来描绘单个人的行为时，需要对很多对象进行跟踪.此外，团队行为的环境、背景往往非常混乱，存在自遮挡和互遮挡现象;

3)团队行为中的人数、相互遮挡和自我遮挡、不规则的摄像机参数等干扰因素也给团队行为的理解和识别带来更多困难;

图1 多目标行为识别相关研究论文统计图Fig.1 Chart for research papers of multi-object behavior recognition

足球比赛行为识别的相关研究起源于20世纪末，图1总结了从2000年～2010年8月的一些重要期刊和会议上发表的有关多运动员行为跟踪与检测、行为表示、姿势估计及行为识别方面的论文数［1-35］.图1从侧面反映了多运动员行为识别相关研究发展过程.由图1可见，除了多运动员行为跟踪与检测方面的研究相对多些外，多运动员行为识别的其它方面研究存在一定的难度，值得更深入、更广泛研究.

足球比赛多运动员行为识别涉及特征提取、目标跟踪与检测、行为表示、分类器的构建及行为识别等具体研究内容.本文介绍了足球比赛中多运动员行为识别的国内外研究情况及其存在的问题，并提出了未来研究发展趋势.

1 目标跟踪与检测技术研究

足球比赛中的多运动员行为识别过程中的目标跟踪与检测，主要是对运动员及球的跟踪与检测，属于多目标跟踪与检测范畴.

1.1 多运动员跟踪与检测技术研究

过去20年，多目标跟踪与检测问题得到了广泛研究［1］，提出了许多目标检测与跟踪算法，但是对学习和识别框架中的整个团队的行为模式的跟踪与检测方面的研究很少.这些算法可以概括为4大类:1)基于特征的;2)基于模型的;3)基于运动的;4)基于数据关联的算法.表1总结了从2000年～2011年7月的一些重要期刊和会议上发表的有关行为跟踪和识别使用特征统计［1-35］.

表1 人体行为识别使用特征统计分析Tab.1 Analysis of human behavior recognition using statistical features ％

在基于特征算法中，跟踪目标的某些特征被用来区分一帧视频中的跟踪目标和其它物体.有些算法利用了背景图像作参考，即所谓的背景帧.利用当前帧减去背景帧所得到的“差额帧”中的所有对象就是计算出的跟踪目标［2］.为了从其它物体中鉴别跟踪目标，用跟踪目标的特征来特征化特征状态空间中的跟踪目标.跟踪目标表示中的参数化形状［3-4］，颜色分布［5］，形状和颜色［6］可以作为特征.文献［4］用特征与手动标记的跟踪目标来训练神经网络分类器，然后用训练好的神经网络分类器来区别跟踪目标与其它对象.文献［7］用几何模块实现图像到模型的单应矩阵估计，通过提取描述跟踪目标的位置和局部外观的兴趣点来进行局部跟踪.椭圆形区域内的颜色直方图用于跟踪球场上的运动员［8］.这些算法更多地利用了低层图像信息，获取特征方式简单，用一种粗糙的特征来描述整个行为，对于噪声、视角变化和行为的主体变化很敏感.

基于模型的算法，包括反模型算法，使用特征、高层语义表示和领域知识来区分跟踪目标与其它对象［9-13］. SELEN等［14］用人类姿势统计模型来完善行人跟踪系统.SHAO和LI［15］在密集人群中用基于力学模型的现场结构来跟踪个体目标.文献［16］用激光范围搜索器和动态RFID传感器的组合来解决跟踪与识别问题，用概率模型进行实时跟踪.这些算法的缺陷是难于建立精确的行为表示模型，各种不同的比赛不能共享模型，且受限于姿势估计算法的发展.

基于特征与模型的算法主要有3要素:目标表示、特征提取和对象区分.建立目标表示的原则是从其它物体中区分目标，并可以很容易地提取用于表示的特征;因此，目标表示可以包括外观特征、运动特征，而模型是用来解决不同问题的.初始化过程中建立的表示随着帧的变化而不断更新.算法利用了隐含的假设，即在同一帧内目标与其它物体之间有“某种不同”.算法的缺陷是特征的选取及特征对行为识别的影响难于估计，模型的适应性需要提高.

基于运动算法依赖于提取随帧(或时间)变化的运动的一致性来分割运动对象［11，17］.文献［18］通过消除阴影为足球运动员检测取得良好的分割效果.虽然运动的一致性涉及一些帧，基于运动的算法通过水平目标还不是水平轨迹来区分目标和其它物体.这些方法的缺陷是很难找到遮挡目标的位置.

基于数据关联算法的目的是解决数据关联问题，是一个寻找检测对象与已知路径之间的正确对应问题［17，19-22］.数据关联问题有4种基本解决方法:1)近邻法是一种在高度混乱的环境下能有效计算但跟踪不可靠的算法［19］;2)文献［19-21］中的跟踪操作是解决数据关联问题的一种技术.当前跟踪操作包括由WANG和KLÄSER等［22］提出的轨迹分裂、轨迹合并和轨迹删除［19-20］;3)联合概率数据关联，即利用联合概率目标测量执行“排除”原则以防止2个或更多的跟踪器锁定相同目标［6，20］;4)多假设跟踪［19-21］是一种基于多种扫描方法的跟踪技术.这些算法需要较高的内存和过多的计算，从而使问题的复杂度指数增长［19］.

总之，上面文献提出的目标跟踪算法或多或少都存在一些缺陷;因此，研究更可靠更有效的目标跟踪算法还将成为今后研究的热点研究方向.

1.2 足球跟踪与检测技术研究

球的跟踪是比球员跟踪更难的问题，因为图像中球尺寸小、方向变化突然.相对于一般的目标检测与跟踪，有多种专门用于足球定位与检测的算法.文献［6］报道了成功检测和跟踪固定摄像机记录的足球比赛视频中的球，但这些方法运用到BSV时，效果都欠佳.POPOOLA等［7］设计了检测BSV中的球的算法，该算法只使用球的形状和颜色属性来区分球与其他物体，但没有提供详细的实验性能分析.

MARYAM等［5］提出了一种跟踪BSV中的球的算法，利用卡尔曼滤波的模板匹配程序来跟踪球并使用反投影法来预测可能发生的遮挡.然而，该算法需要手动输入球的出发位置且没有跟踪结果报告.

D’Orazio等［4］使用改进的圆形霍夫变换(circle Hough transform CHT)与神经网络分类器来从实时视频选定的帧中检测足球.当球在视频中足够大、颜色单一、变形不严重时，这种方法可以取得良好的检测效果.此外，改进的圆形霍夫变换与神经网络分类器无法识别一些似球的非球.由于球不够大、颜色是黑白相间的、没有明显的纹理，以前检测球的方法并不适用.一些研究提出了基于球路径分析的足球检测方法.文献［1］提出用基于轨迹的检测和跟踪算法来定位足球视频直播中的球.文献［2］提出了对固定相机拍摄的图像序列中的模糊小球进行跟踪的方法.球跟踪的过程是对每m帧进行批处理，以产生仅包含球区的像素的积累图像.对积累图像用粒子过滤器将球与噪声区分开来，并确定球是否可见，如图2所示，其中圆圈标定的为球的正确跟踪，六边形标定的为球的不正确跟踪.文献［3］用球员之间、场线和球的时空关系来估计球的路线.文献［4］用固定摄像头来检测三维球的轨迹并解释球滚动、控球状态下的球飞出及球出球场的4个不同运动阶段.文献［5］提出用视域非常狭隘的16 PAL制式摄像机来跟踪球员和球，提取三维球的轨迹，并计算出球员相当于越位线的坐标和位置.这些算法在检测非球(类似于球的圆形物体)方面均存在一定的困难，如何提高非球的识别率是今后研究的一个方面.

图2 基于轨迹的球跟踪Fig.2 Ball tracking based on trajectory

1.3 目标颜色特征强化跟踪技术研究

色彩特征不仅可以用来提高目标跟踪能力，而且还可以被用来分开属于不同球队的球员，如图3所示.文献［2］用颜色分类和分割来获取斑块对应球队和裁判的运动服.通过将图像像素映射到各自的颜色类，利用色彩分类集来寻找感兴趣的区域，然后用形态算子来分组像素.文献［3］用混合颜色空间来检测空间，最佳区分属于对手球队球员的像素.文献［3］提出多摄像机跟踪球员的方法.通过交叉被分割的斑块的RGB直方图来分类球员服装类别，通过半监督策略获得了5种模式的直方图，该策略在比赛开始前对球员观察样本进行标签.文献［4］为足球视频中的球员控球状态开发了一个半自动化系统.支持向量机的颜色直方图用于团队识别.对于每类人，作者事先手动确定一种区别于其他人的颜色.为每一颜色建立几个颜色素材库用来评估落入预置的颜色素材的像素分布.通过支持向量机，这种分配形成的颜色直方图用来评估团队.文献［5］从由摄像机通过图像和球场之间的单应性标定、旋转及缩放摄像机自我标定的单筒足球视频中估计球员和球的位置.颜色特征强化跟踪技术的过程中需要注意色彩的失真对目标的区分度明显的下降情况，针对该情况进行研究也是一个不错的研究方向.

1.4 遮挡问题解决技术研究

在足球比赛过程中，由于背景的复杂变化，运动目标经常会出现部分或全部被遮挡的情况.为了解决遮挡条件下多目标跟踪问题，文献［6］通过图形表示来实施跟踪.用形态算子和前、后向图形表示来分割斑块，从而处理遮挡问题.文献［7］提出用协同多相机跟踪来解决遮挡和错误信息传播等问题.在球场上放置4个摄像机用于同步来解决一些遮挡事件，如图4所示.每个目标在每个视角中由一个专用的基于粒子过滤的局部跟踪器跟踪.不同视角的跟踪器通过置信传播与其它跟踪器互动.这样，在一个视角运行的局部跟踪器利用了从其它视角传递的附加信息，从而解决运动员之间的互遮挡和自遮挡问题.该方法虽然能够解决一定的遮挡问题，但运动员之间的互遮挡和自遮挡问题非常严重的情况下，解决遮挡问题的效率明显降低.研究出一套更加切实可行的解决遮挡问题的方法是研究的一个方向.

图3 基于色彩特征的球员和裁判跟踪Fig.3 Players and referees tracking based on color feature

图4 解决遮挡的协同多相机跟踪示意图Fig.4 Cooperative multi camera tracking for solving the occlusion

2 足球比赛行为表示技术研究

图5 时空兴趣点表示的行为示意图(左图为发球,右图为踢球)Fig.5 Space-time interest points represent the behaviors, serve the ball(left),kick the ball(right)

足球比赛行为表示是足球比赛行为识别和理解的关键问题之一，行为表示的好坏直接影响行为识别的识别率.研究者对行为表示进行了广泛研究，其中比较典型的研究有: PEHLIVAN等［8］利用减背景法推导出时间模板的表示.该行为表示方法简单，但容易受噪声影响.KEREN为视频数据的简洁表示提出了时空(ST)兴趣点，并探讨了利用时空兴趣点来描述人的行为的优势［9］，如图5所示.

ST特征不需要分割或跟踪个体行为的实施.利用这个性质，时空特征在行为识别方面取得了相当大的成功［10］.WEINLAND等［11］提取时空兴趣点将视频序列表示为时空词的集合，并用概率潜在语义分析(pLSA)模型来识别人的行为.pLSA不能很好地描述文件的产生式模型.因为没有办法依据它给一个新观察到的现象赋予一个概率值;另外，pLSA模型中的参数随训练样本数线性增加，这表明该模型很容易过度拟合.HOLZER等［12］也使用ST特征，但他们更喜欢用码书和词袋来表示.然而，上述提到的现有行为识别方法大多数研究单个人的行为识别.MORRIS等［13］把足球视频作为实验数据，但也只是识别了单个人的行为.SELEN等把光流作为行为特征来识别足球视频中的团队行为.研究局限于足球视频且只能处理3类团队行为［14］，且易受噪声干扰.文献［14］采用时间序列的因果关系来描述成对行为，但难以推广到多目标的行为识别中来.文献［1］用一个完整的四维对象-实时交互张量来描述团队行为模式，通过学习并优化张量来减少内核，使它凝聚到一个可区别的时空互动矩阵中.在视觉变化情况下，作为团队行为模式的简洁描述的时间互动矩阵被证实是稳定的.更重要的是给定一个黎曼度量，所有时空互动矩阵集形成一个黎曼流形，可用它来建立概率框架特征化团队行为模式每个类.但实现起来比较困难.文献［15］提出目标之间结构化的相互作用模型，使用基于目标的原语和低阶时空关系集成的概率框架，从含噪声的感知数据中识别出高度结构化的多人行为.基于模型的目标识别和概率计划识别的表示构成4个主要假设: 1)在智能体之间进行团队活动时，单个智能体目标是指定的时空关系的天然的原子表示单位;2)在高度结构化的多智能体的行为识别过程中，行为的时间结构的高层次描述使用较少的低阶时空关系集和逻辑限制，就足以表达智能体之间的关系;3)贝叶斯网络为不确定的视觉感知特征的多种来源，提供了一种适当的融合机制;4)可以用自动生成的贝叶斯网络来融合不确定时态信息和计算对象轨迹数据集.文献［16］引入一个能明确对动态团队成员进行编码和证明计划识别形式的适用性的新的多智能体的计划表示法.从多智能体的计划表示法中提取的局部时间依赖性，能够显著地修剪潜在有效的团队计划的假设集.

对于一个局部时空感兴趣区域，局部描述子通过用一个特征向量来表示该区域.图像或者整个足球比赛视频的内容，可以表示为一组在不同的尺度和位置下的特征向量集合.为了能有效地利用局部特征向量来进行足球比赛行为的识别，客观上要求这些描述子具有比较强的区分能力(High Distinctive)，同时又能够不受光照，轻微形变等干扰因素的影响.将HoG描述子推广到3D的计算方法如图6所示，其中涉及到的关键步骤有:直方图计算、方向量化、梯度计算.

图6 足球比赛视频3D局部时空特征描述子图Fig.6 3D local spatio-temporal feature descriptor for soccer video

3 足球比赛行为分类器构建技术研究

分类器的优劣直接影响行为识别的识别率.目前，足球比赛行为识别使用的分类器有:最近邻(nearest neighbor，NN)欧几里德神经网络分类器;支持向量机(SVM)分类器;DTIM神经网络的NN分类器;最大后验概率(MAP)分类器;贝叶斯网络框架分类器和基于先验知识和人工神经网络的树结构混合分类器等.NN欧几里德神经网络分类器把所有时空互动矩阵看作是欧几里德空间的元素，但忽略了DTIM的内在几何特性.支持向量机分类器考虑到欧几里德空间中的非线性现象，但用内核技巧绕过它来追求超强的线性能力.同时，DTIM神经网络的NN分类器利用了数据空间的几何本质，但忽略了统计观.DTIM建立了包括有识别能力的时空交互矩阵的概率密度，描述了团队行为多目标之间的协调和互动关系.文献［17］对每个团队行为类，为DTIM学习一个多模态密度函数.设计多行为的最大后验概率(MAP)分类器来识别新的行为.对象间时空关系的建模与识别(如团队行为模式)大多采用贝叶斯网络框架进行处理［18］.贝叶斯网络框架虽然在单个对象行为的建模方面取得了成功，但是用它来处理团队行为时存在网络的复杂性高等缺陷.如果用贝叶斯网络同时识别个人行为和团队行为模式需要密集型计算，所以不适应于足球团队行为的识别.相对于网络的状态空间和特征空间的大小，用于训练的数据量明显不够;因此，不仅概率依赖性很可能是过度拟合，而且必要的先验知识很难从可用的数据中学到.文献［19］使用基于先验知识和人工神经网络的树结构混合分类器对足球团队行为进行识别，并使用了3个参考分类器.文献［20］用Elman神经网络(ENN)实现足球步态模式分类.目前提出的分类器都只能满足一定条件下对某些简单行为的分类，对一些复杂行为(特别是多运动员协作的团队行为)的分类效率低下;因此，研究混合分类器来分类复杂行为是今后研究的一个重要研究方向.

4 足球比赛行为识别技术研究

为了成功识别足球比赛行为，必须满足3个目标.首先，能够观察到感兴趣的智能体，记录和跟踪他们的行为;其次，可以确定每一个智能体的身份是唯一的;最后，智能体的团队行为可以得到识别.行为识别方面的研究主要涉及行为识别策略、团队行为识别和运动员在足球比赛团队行为中的角色识别3个方面的研究.

4.1 足球比赛行为识别策略

识别策略是行为识别系统的另一个重要组成部分.文献中有大量的研究提到这个问题，过去几年取得许多令人印象深刻的结果，如隐马尔可夫模型(HMMs)，自动回溯行为平均模型(ARMA)，条件随机域(CRFs)模型，有限状态机模型(FSM)及其变形模型，半马尔可夫模型，1-最近邻与标准学习模型，行为网模型LDCRF模型［21］.Wang等［22］介绍了FCRF在视觉领域中的应用，并阐述了它与HMM模型及普通CRF相比存在的优势.CHO等［23］用潜在的姿态估计器取代传统的随机域模型对标准的CRF进行改进，提高了其对连续行为识别的性能.MORRIS和TRIVEDI提出了一种用隐变量描述图形的贝叶斯模型，这些隐变量隐藏在时空路径数据库中.LIU等［24］提出通过动态轨迹来进行行为识别的贝叶斯框架.

4.2 团队行为识别

足球比赛行为识别属于多运动员团队行为识别.比较有意义的团队行为识别研究有:YUX等［25］开发的识别多智能体行为的系统.使用时序逻辑、高层次描述符和贝叶斯网络来分类10种不同的足球比赛行为.通过从美国足球比赛收集的实时数据集来评价该系统.

Liu等［26］为多智能体行为识别开发了观察分解的隐马尔可夫模型(ODHMM).在ODHMM模型中，团队观察被分为用于获取团队中与单个智能体相关的特征的子观察.通过使用独立的假设，ODHMMs可以识别团队人数可能变化序列中的团队行为.此外，ODHMM用角色参数扩展了传统的HMMs模型以保持智能体和他们角色之间的关系.实验结果表明，使用ODHMMs的多智能体行为建模优于建立在人工数据集基础上的离散隐马尔可夫模型.

REDDY等［27］开发了团队任务和行为同时识别的STABR算法.首先，用模板匹配从单个智能体的空间关系中识别出可能的球队任务集;其次，在一段时间内不遵循预先定义、参数化的行为模式的球队被筛选掉.STABR算法在模拟军事领域中的团队行为识别方面具有良好的性能评价.

与HMMs有关的CRF被SHIMAWAKI等用于行为识别［28］.放宽了状态转移过程中的独立性强的假设，避免了针对性的图形模型的基本限制.结果表明，在简单测试场景下进行行为识别，CRFs优于HMMs.CRFs的缺陷是需要用更多的时间来从观察中估计模型.

文献［29］结合概率框架在高维图像空间中进行特征提取和描述，在嵌入的低维空间中进行行为建模与识别，使用KPCA来发现行为空间的内在结构，提高了算法的识别效率和鲁棒性.

文献［30］提出将六个固定摄像机适当地放置在足球场两侧(每侧3个)，以减少远景和遮挡误差.对由同步相机获得的图像进行处理，检测球员和球的实时位置，对多视图进行分析评估越位事件，考虑到该球场中所有球员的位置，确定传球球员，并确定是否发生了主动的越位状态.

文献［31］结合时空特征点和概率求和框架来进行团队行为识别.首先，提取时空兴趣点的特征来描述团队行为;然后，利用K均值聚类算法来将行为特征聚类为行为码本;最后，通过计算概率和来分类测试视频.使用时空特征来识别团队行为时可采用两类空间模型:1)可以对团队成员和外部标志之间的静态关系进行编码的团队模型;2)用空间不变HMM来表示随时间不断变化的智能体团队的分布.基于HMM模型的时空识别模型取得了良好的识别结果.但是处理实际数据集时存在脆弱性.

在多运动员团队行为识别方面，上面参考文献提出的方法都有一定的局限性.如何构建一种通用模型用于识别不同的团队行为是目前研究的难点及今后研究的一个重要方向.

4.3 角色识别

足球比赛行为是多运动员协同完成的有计划的行为，识别球员在行为中充当的角色有助于整个足球比赛行为的识别.多智能体系统框架通过使用预定义团队组织的知识认真分配智能体的角色来执行团队任务，如BEETZ等［31］.然而，在团队行为识别系统中，角色往往是未知的，需要从行为观察中进行推断.

VANDENBROUCKE等［32］开发了L-TEAM架构，使用有监督机器学习方法自动学习多智能体系统的组织角色.通过推断组织角色的知识，框架中的智能体协商各自在给定任务中应担当的角色.学习方法消除了其它框架中需手动确定球队角色组织的需要，如文献［33］.

串话是通过听取球队中的智能体之间的对话，在分布式和开放的多智能体系统中监测协作行为的方法.在许多监控应用中，目的是确定是否球队正向共同的目标迈进.串话系统已经发展到能够完成诸如团队协作计划识别，建立和维护团队编队和角色识别等复杂任务［34］.

WANG等［35］提出用基于规则的系统来识别智能体在团队中的社会角色，通过可以传感团队中的所有智能体之间的通信的串话智能体来分配智能体的社会角色.该系统已成功地验证不遵循众所周知的协议人为产生的组织.

BARROS等开发了一个能够识别和再生最关键智能体的容错多智能体框架.临界性取决于多智能体系统中每个智能体的行为和角色的识别.同样通过串话方法来进行角色分配.

多运动员行为识别过程中，单个运动员在团队行为中所扮演的角色对整个团队行为识别有着极其重要的影响;因此，提出更加智能有效的角色识别方法是今后研究的一个重要研究方向.

5 研究前景展望

如何选择足球比赛行为的运动特征来表达运动是足球比赛行为识别和理解的关键问题之一.一般是尽可能选择较多的特征，或者是在连续特征的典型匹配过程中引入行为识别模型的简化约束条件来减少、消除歧义性.但如果特征选择过多、特征向量维数过大，则会增加计算的复杂度;而选择特征过少，又不足以识别与理解足球比赛行为，而引入行为识别模型的简化约束条件与一般的图像条件却又是不吻合的;因此，借鉴人类的学习、识别与理解机理，定义一个动态特征模型，首先提取有关足球比赛行为的主要特征，当这些特征不足以完成识别与理解时，系统逐步提取候选的细节特征.对于足球比赛运动特征描述来说，不同复杂程度的运动通常会采用不同的运动表示方法，即使是同一动作在不同的场合，由于速度不一致等原因都会产生不同的时空关系.如何表征这些细微的时空变化并没有一个很好的办法;因此，行为表示还有待于进一步研究.

虽然在现阶段已经开展了较多的视角不变的动作识别研究工作，可仍有很多问题亟待解决.一方面，大多数的方法依赖鲁棒的语义特征点检测或者是点对应，而这些实现起来比较困难;另一方面，视角不变的方法通常会存在信息的损耗，导致用于识别不同行为的区分信息的缺失.如何使得行为的表示可以容忍视角的变化，同时又保留足够的可以用于动作识别的可区分信息，这是一个关键研究问题.

目前多目标行为识别虽然取得一定的进展，但多目标行为识别研究局限于简单、固定视角且已切分好的行为，对不同动作连续变化的长运动序列的足球比赛行为研究比较少，而且鲁棒性差.在噪声、亮度和光照变化强烈，以及视角变化的复杂环境中识别正确率大大降低;因此，建立更适合的多目标行为表示方法及采用更先进的识别技术，是足球比赛行为识别研究努力的方向.

时间互动矩阵依赖于点轨迹的正确获取，从而导致了对一个不完整或错误的轨迹更鲁棒的描述问题.超出了经验视觉稳定描述的严格不变观点的方法，仍然是一个挑战.检测和分割特殊的团队行为模式，特别涉及对象数目的变化，也是下一个研究兴趣点.基于概率模型的非线性流形的研究仍处于起步阶段;因此，值得进一步研究.

由于足球视频中有复杂的背景，运动目标快速移动可能造成视频画面模糊不清.因此，利用超分辨率图像处理方法对足球视频进行增强，有助于提高行为识别率.这也是值得进一步研究的问题.此外，足球视频图像去噪也是足球行为识别中值得研究的问题之一.

HMMs只输出一种未知行为与认知的模式行为之间的概率，不解释某种行为是什么.所以仍需要寻找和开发新技术，以利于在提高行为识别性能的同时，又能有效地降低计算的复杂度.

6 总结

随着多目标行为识别研究成为计算机视觉和模式研究领域的研究热点，足球比赛中多运动员行为识别的研究将成为多目标行为识别研究的重要内容.本文以足球比赛行为识别过程中的目标跟踪与检测、行为表示、分类器的构建及行为识别为主线，对国内外足球比赛行为识别研究现状进行了系统的总结，同时对足球比赛行为识别的研究趋势进行了展望，为未来的足球比赛行为识别及多目标行为识别的研究提供了新思路及文献参考.

［1］YILMAZ A，JAVED O，SHAH M.Object Tracking:A Survey［J］.ACM Computing Surveys，2006，38(4):1-45.

［2］WANG L，YUNG NELSON H C.Extraction of Moving Objects From Their Background Based on Multiple Adaptive Thresholds and Boundary Evaluation［J］.IEEE Transactions on Intelligent Transportation Systems，2010，11(1):40-51.

［3］MATTHEW F，DAVID S，PAN Z X，et al.Recognizing Human Motions Through Mixture Modeling of Inertial Data［J］.Pattern Recognition，2015，48(8):2394-2406.

［4］D’ORAZIO T，GUARANGNELLA C，LEO M，et al.A New Algorithm for Ball Recognition Using Circle Hough Transform and Neural Classifier［J］.Pattern Recognition，2004，37(2):393-408.

［5］MARYAM Z，ROBERT B.Semantic Human Activity Recognition:A Literature Review［J］.Pattern Recognition，2015，48，(8):2329-2345.

［6］RASMUSSEN C，HAGER G D.Probabilistic Data Association Methods for Tracking Complex Visual Objects［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2001，23(6):560-576.

［7］POPOOLA O P，WANG K J.Video-Based Abnormal Human Behavior Recognition-A Review［J］.IEEE Transactions on Systems，Man and Cybernetics Part C:Applications and Reviews，2012:1-14.

［8］PEHLIVAN S，DUYGULU P.A New Pose-Based Representation for Recognizing Actions from Multiple Cameras［J］.Computer Vision ＆amp;Image Understanding，2011，115(2):140-151.

［9］KEREN D K，OSADCHY M，GOTSMAN C.Antifaces:A Novel Fast Method for Image Detection［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2001，23(7):747-761.

［10］KOLLER D，DANILIDIS K，NAGEL H.Model-Based Object Tracking in Monocular Image Sequences of Road Traffic Scenes［J］，International Journal of Computer Vision，1993，10(3):257-281.

［11］WEINLAND D，RONFARD R，BOYER E.A Survey of Vision-Based Methods for Action Representation，Segmentation and Recognition［J］.Computer Vision＆amp;Image Understanding，2011，115(2):224-241.

［12］HOLZER S，ILIC S，NAVAB N.Multi-Layer Adaptive Linear Predictors for Real-Time Tracking［J］.IEEE Transactions on PatternAnalysis and Machine Intelligence，2012，35(1):105-117.

［13］MORRIS B T，TRIVEDI M M.Trajectory Learning for Activity Understanding:Unsupervised，Multilevel，and Long-Term Adaptive Approach［J］.IEEE Transactions on Pattern Analysis＆amp;Machine Intelligence，2011，33(11):2287-2301.

［14］SELEN P，David A F.Recognizing Activities in Multiple Views with Fusion of Frame Judgments［J］.Image and Vision Computing，2014，32(4):237-249.

［15］SHAO Z P，LI Y F.Integral Invariants for Space Motion Trajectory Matching and Recognition［J］.Pattern Recognition，2015，48(8): 2418-2432.

［16］TUCKER B，FRANK D，ADAM F，et al.How Multirobot Systems Research Will Accelerate Our Understanding of Social Animal Behavior［J］.Proceedings of the IEEE，2006，94(7):1445-1462.

［17］KEREM A，KARON E M.Recognizing Affect in Human Touch of a Robot［J］.Pattern Recognition Letters，2015，66(15):31-40.

［18］STIKIC M，LARLUS D，EBERT S，et al.Weakly Supervised Recognition of Daily Life Activities with Wearable Sensors［J］.IEEE Transactions on Pattern Analysis＆amp;Machine Intelligence，2011，33(12):2521-2537.

［19］COX I J.A Review of Statistical Data Association Techniques for Motion Correspondence［J］.International Journal of Computer Vision，1993，10(1):53-66.

［20］RASMUSSEN C，HAGER G D.Probabilistic Data Association Methods for Tracking Complex Visual Objects［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2001，23(6):560-576.

［21］WANG Zu-chao，LU Min，YUAN Xiao-ru，et al.Visual Traffic Jam Analysis Based on Trajectory Data［J］.IEEE transactions on visualization and computer graphics，2013，19(12):2159-2168.

［22］WANG Heng，KLÄ SER A，SCHMID C，et al.Dense Trajectories and Motion Boundary Descriptors for Action Recognition［J］. International Journal of Computer Vision，2013，103(1):60-79.

［23］CHO S Y，SOOY K，HYE B.Recognizing Human-Human Interaction Activities Using Visual and Textual Information［J］.Pattern Recognition Letters，2013，34(15):1840-1848.

［24］LIU Y，LIANG D W，HUANG Q M，et al.Extracting 3D Information from Broadcast Soccer Video［J］.Image and Vision Computing，2006，24(10):1146-1162.

［25］YUX，LEONG H W，XU C，et al.Trajectory-Based Ball Detection and Tracking in Broadcast Soccer Video［J］.IEEE Transactions on Multimedia，2006，8(6):1164-1178.

［26］LIU Hao-wei，MATTHAI P，MARTIN P，et al.Recognizing Object Manipulation Activities Using Depth and Visual Cues［J］. Journal of Visual Communication and Image Representation，2014，25(4):719-726.

［27］REDDY K，SHAH M.Recognizing 50 Human Action Categories of Web Videos［J］.Machine Vision and Applications，2013，24 (5):971-981.

［28］SHIMAWAKI T，SAKIYAMA T，MIURA J，et al.Estimation of Ball Route under Overlapping with Players and Lines in Soccer Video Image Sequence［C］.18th International Conference on Pattern Recognition，ICPR 2006，US:Institute of Electrical and Electronics Engineers Inc，2006:359-362.

［29］REN J，ORWELL J，JONES G，et al.Real Time Modeling if 3-D Soccer Ball Trajectories from Multiple Fixed Camera［J］.IEEE Trans.Circuits Syst.Video Technol.，2008，18(3):350-362.

［30］ZHANG K，SONG H.Real-Time Visual Tracking via Online Weighted Multiple Instance Learning［J］.Pattern Recognition，2013，46(1):397-411.

［31］BEETZ M，HUENE N H，BANDOUCH J，et al.Camera-Based Observation of Football Games for Analyzing Multi-Agent Activities［C］.Fifth International Joint Conference on Autonomous Agents and Multiagent Systems，AAMAS，New York:Association for Computing Machinery，2006:42-49.

［32］VANDENBROUCKE N，MACAIRE L，POSTAIRE J G.Color Image Segmentation by Pixel Classification in an Adapted Hybrid Color Space.Application to Soccer Image Analysis［J］.Computer Vision and Image Understanding，2003，90(2):190-216.

［33］XU M，ORWELL J，LOWEY L，et al.Architecture and Algorithms for Tracking Football Players with Multiple Cameras［J］.IEE Proceedings:Vision，Image and Signal Processing，2005，15(2):232-241.

［34］FIGUEROA P J，LEITE N，BARROS R M.Tracking Soccer Players Aiming Their kinematic Motion Analysis［J］.Computer Vision and Image Understanding，2006，101(2):122-135.

［35］WANG Zhi-wen，LI Shao-zi.Face Recognition Using Skin color Segmentation and Template Matching Algorithms［J］.Information Technology Journal，2011，10(12):2308-2314.Review for team behavior recognition in the video soccer game

WANG Zhi-wen1，WANG Yu-hang2
(1.College of Information and Computing Science，Guangxi University of Science and Technology，Liuzhou 545006，China;2.School of Automobile and Traffic Engineering，Guilin University of Aerospace Technology，Guilin 541004，China)

Recognition and understanding of team’s behavior which is planned and highly cooperative and multiplayer(agent)participating is an important field of computer vision research.This paper analyzes and summarizes the existing domestic and international research achievements in the area of the team’s behavior recognition from four aspects of target tracking and detection，representation of behavior，construction of classification and behavior recognition in the process of the football game.The problems waiting to be solved and some research trends in the field of team’s behavior recognition in the future are also analyzed in this paper.It may provide some novel insights and literature

for the research of recognition of soccer and multi-objective behavior in the future.

target tracking and detection;representation of behavior;construction of classification;occlusion; behavior recognition strategy;team’s behavior recognition;role identification

TP309

A

2095-7335(2016)02-0037-09

10.16375/j.cnki.cn45-1395/t.2016.02.007

(学科编辑:黎娅)

2015-12-13

国家自然科学基金项目(61462008，61365009);广西自然科学基金项目(2013GXNSFAA019336);广西科技大学博士基金项目(院科博12Z14)资助.

王智文，博士，教授，研究方向:机器学习与计算机视觉、移动目标检测与识别，E-mail:wzw69@126.com.