基于人工智能和信息融合的养老安全综合监测系统研究

【作 者】 张捷，刘涛，于云潇

1 上海中侨职业技术大学，上海市，201203

2 上海中侨健康智能科技有限公司，上海市，201203

0 引言

随着社会的发展和人口老龄化进程的加快，老年人在社区和居家环境下的综合安全问题日益突出，已成为社会急需解决的问题。目前，我国的养老研究有居家养老、社区养老和机构养老3种模式。其中，超过99%的老年人在居家和社区养老，仅有不到1%的老年人在机构养老[1]。老年人随着年龄的增加，衰老症状和退行性病变会逐步加快加深，生理机能逐渐衰退，认知能力也随之下降。在居家和社区环境下，容易出现独居老年人跌倒、疾病突发、厨房明火、烟雾、煤气泄漏等风险，认知症障碍老年人走失及老年人集中活动场所的安全隐患。

跌倒是老人失能的重要拐点和伤害死亡的首位原因，被称为“头号杀手”，且随年龄的增加，跌倒的死亡率急剧上升[2]。目前，国内外对老年人的跌倒监测主要有四类技术方案：第一类是手环手表穿戴式设备类，由于设备监测准确性差，因老人抗拒穿戴且设备需要频繁充电等弊端而使用受限；第二类是远红外热成像设备类，这类设备目前主要用在工业领域，因为成本高、价格昂贵而无法在养老领域实施；第三类是微波雷达类，该技术方案具有保护老年人隐私的优点，但使用场景受限，只能用于单人使用场景，无法同时监测多人跌倒，对人和动物无法有效区分，监测结果准确性易受测试自然环境如风吹动浴帘等影响；第四类是摄像头设备类，基于机器学习和深度学习等人工智能技术，该技术方案成熟、监测准确率高，产品产业链成熟，价格亲民，可在机构、社区和居家等不同养老场景中灵活部署实施，但一般部署在公共开放区域，在室内隐私区域无法部署。

总结上述4种检测系统的优缺点，本系统的开发具有以下特色：①全场景全时段综合看护，覆盖居家和社区的养老场景；②无感看护方式，不改变老人已有的生活习惯；③人工智能算法综合判定自动报警，算法准确率高，支持电话语音报警方式；④保护老人隐私，针对居家养老场景，火柴人图像方式呈现，不存储老人图像；⑤针对社区养老场景，系统可以复用现有的摄像头、局域网及计算机设备，可直接导入部署系统。其中，主要创新点有：①针对养老领域自建高质量的跌倒数据集；②对于误报数据和漏报数据，自动循环加入训练集更新模型文件；③跌倒监测流程中引入座椅识别和地面识别功能，可提高算法的准确性。

1 基于人工智能技术和信息融合的养老安全综合监测系统设计

1.1 养老安全系统硬件架构

本系统是将人工智能、物联网、大数据、信息融合等新技术应用于养老安防领域，实现对老年人全方位全时段的实时看护，采集老人的十多种数据（例如，人体姿态、活动轨迹、夜间睡觉信息、心率呼吸体动、厨房烟雾、燃气、用水量、开关门状态、主动呼叫信息、外出位置定位等），数据经过人工智能算法实时分析，对于老年人跌倒、疾病突发、燃气烟雾、异常出入、紧急求助等高危状态实现智能报警。本系统硬件架构如图1所示。

图1 养老安全综合监测系统硬件架构Fig.1 Hardware architecture of comprehensive monitoring system for elderly care safety

1.2 养老安全系统软件设计

本系统软件架构如图2所示。软件平台包括4部分，分别是数据层、平台层、算法层和应用层。数据层主要包括视频流数据和IoT数据，其中视频流数据指通过摄像头采集各个点位的视频，实时截图后传输给上层平台层。平台层主要指传感器数据融合、存储、根据任务定义进行路由传输等。算法层包括人工智能模型训练和模型推理两部分。应用层指算法层，可自动识别的跌倒、疾病突发、异常出入、燃气烟雾等高危事件通过报警来呈现，根据需要可以采用不同的报警呈现方式。

图2 养老安全综合监测系统方案软件架构Fig.2 Software architecture of comprehensive monitoring system for elderly care safety

2 人体姿态估计与行为识别技术方案

本系统方案包括人体姿态估计与行为识别子系统和物联网看护子系统。该人体姿态估计与行为识别方案，包含4个部分：数据集、模型训练、模型推理、行为动作判定。人体姿态估计与行为识别技术方案框架如图3所示。

图3 人体姿态估计与行为识别方案框架Fig.3 Scheme block structure of human posture estimation and behavior recognition

2.1 方案概述

人体姿态估计技术最广泛的应用是行为动作识别，本系统选择down-top方案具备在社区养老场景下多人快速识别的优势。down-top算法识别的人体关键节点数据如图4所示。

图4 采用down-top算法识别的人体关键节点数据Fig.4 Data of key human nodes identified by down-top algorithm

通过自建社区居家的真实养老场景特殊数据集，可有效提高模型算法的准确率[3]。因为实际社区居家养老场景下行为动作数据集有限、训练集小样本的特点，且对图像识别的目标只是区分跌倒和非跌倒两种状态，所以采用传统机器学习模型，将人体姿态关节信息作为参数构建人体姿态分类模型，对不同社区和居家养老场景的真实图像数据采用联邦学习机制，保护各自用户的数据，并且提高训练的速度[4]。在实际社区和居家养老场景下，容易出现人体部分关节被邻近座椅遮挡而无法识别的情况，方案创新性地引入座椅识别模型增加对座椅等物体识别，排除人体躺在座椅上因为部分遮挡而误报的情况。同时，创新性地引入地面识别模型对地面的识别，降低对跌倒的误报率。

本系统方案通过对人体姿态估计、人体邻近座椅的物体识别、人体所在地面的识别，综合分析后最终对老人行为动作进行判定和报警。同时这些跌倒或非跌倒的图像和标注更新到数据集，进一步提高算法的准确度。本系统方案不存储图像，避免泄露用户的隐私，保护信息与数据的安全。

2.2 人体特定姿态数据集

根据数据集的数据特点和获取方式，可以把人体行为识别领域常用的公开数据集分为4类：通用数据集、真实场景数据集、多视角数据集和特殊数据集。真实场景数据集主要是从电影或视频中收集的数据，其特点是相机、场景不固定且同类动作的类内散度比较大。近年来，随着对老人、孩子等特殊群体安全及监护的需求，相继出现了包含跌倒行为在内的特殊数据集[5]。在实际的居家社区场景人工智能应用中，无论采用第三方的真实场景数据集还是特殊数据集进行训练，研究方法和评价方案都需要匹配修改，其算法识别准确率受到很大局限性。所以，本系统基于居家社区场景实际需求，自行构建人体特定姿势数据集。

人体特定姿势数据集来自社区养老活动中心，该数据集的行为类别可以归纳为4种类型：①站立动作；②坐下动作：坐在椅子上、坐在轮椅上、坐在床边缘；③蹲下动作：浅蹲，深蹲；④跌倒动作：仰面倒地、侧卧倒地、脸趴着倒地、手撑地后仰倒地、背靠墙面后仰倒地、倒地部分有遮挡，其示例如图5所示。其中，训练集、验证集和测试集均具有手动验证标签，JSON文件用于存储标签信息。因为该数据集来源不同的摄像头，并伴有遮挡、相机角度、复杂背景、光照条件变化等诸多因素影响，极具挑战性。

图5 人体特定姿势数据集跌倒示例Fig.5 Fall example diagram of human body specific posture dataset

2.3 循环迭代模型训练

由于实际图片伴有遮挡、相机角度、复杂背景、光照条件变化等诸多因素影响，对老年人跌倒状态的自动监测仍会有一些误报和漏报。本系统自动周期性将误报图片和漏报图片加入数据集中进行模型训练更新。针对跌倒误报图片和漏报图片，本系统自动实现异常图片的采集、标注和模型自动训练的功能。

2.4 系统验证

本系统在上海市某养老院实际运行长达2年，对约三十万人次进行连续监控，报警规则阈值可根据自学习算法智能调整，误报图片自动输入进行模型全自动训练升级。老年人非跌倒行为准确率为98.8%，老年人跌倒行为准确率为95%。其中，创新性引入座椅识别和地面识别模型，极大地减少了系统误报。同时养老院夜间楼层护理员由6人减少到2人，提质增效已达到预期用途。相比产业界只采用其他神经网络算法模式如Yolo等实现跌倒的目标检测准确率一般为75%～80%，本系统的跌倒检测准确率有较大的优势。

本系统即将在上海市某社区场景和长护险独居长者居家场景中部署试用，为老人在社区和居家的综合安全提供保障，尤其适合社区高龄老人和居家独居老人。

3 总结

本研究提出了一种基于人工智能和信息融合的养老安全综合监测系统的研发与应用的方法，通过多种传感器采集老年人的安全健康数据，主要目的是对老年人在社区和居家可能出现的各种安全与健康风险实现报警。其次，通过对人体姿态估计与行为识别技术的不断创新研究，提高了实际应用中算法的准确率，自动看护和管理老年人跌倒、疾病突发、异常出入、燃气烟雾等高危风险，降低养老服务人员的人力投入，具有良好的应用前景。上海市物联网行业协会已发布T/SIOT 315—2021《智慧健康养老 老年人跌倒智能监测系统技术要求》团体标准，相信随着社区居家养老服务一体化的发展，本系统将在养老领域发挥较大的作用。