基于图像识别的深度学习垃圾桶

张博文 殷 浩 扈天悦 李徜徉 马刘奇

(1、上海海事大学,上海201306 2、伦敦玛丽女王大学)

1 背景

随着国民经济稳步增长,人民消费水平日益多元化,从而带来垃圾分类的问题,因此国家格外重视并加速推进垃圾分类政策。当前垃圾分类的主流有街道、社区、家庭、但垃圾分类仍是难题。目前,垃圾分类存在难度大、成本高、效率低的问题。而垃圾更存在难以人工识别、消耗大量时间、散发气味破环空气质量等诸多问题、因此,垃圾分类大潮急需结合借助现代科学技术,制造出一款简易、高效、造价低廉的智能化垃圾分类系统已成为当前的最大需求。

自2019 年起,上海市成为了垃圾分类试点城市,在运行中的垃圾分类措施给人们带来了一定的不方便,同时造成了很大的人力资源消耗。比如许多社区规定了投放垃圾的时间且大多需要社区志愿者进行监督。大街上虽然有各种分类的垃圾桶,但无人监督情况下垃圾分类的效果并不好。所以制作一个可以自主识别垃圾进行分类的垃圾桶尤为重要。通过查阅资料发现市场上还没有成型的产品在为大众服务,而少数的几个也大多是语音识别,还是要投放人来对垃圾进行判断。

2 结构

整个的设计由机械结构部分、电控部分和图像识别与交互部分三部分构成。

2.1 机械部分

对于机械结构方便大致分为以下几个部分:外围的固定部分、内部的垃圾桶部分、中间的舵机控制部分、上层的投放口部分以及一个显示屏。如图1 所示。

图1 智能垃圾桶3D 图

对于外围的固定部分,由于是处在实验室调试阶段,整体的材料就采用了透明的亚克力材质板, 既方便激光切割和弯折又便于观察内部的整个系统的运行情况。内部的垃圾桶采取多个小垃圾桶的形式进行放置,方便对不同类别的垃圾进行倒取。中间的舵机控制部分连接有一个可开闭的小暂存盒,便于将垃圾通过旋转投入指定垃圾桶中,小暂存盒下端还搭载有红外距离传感器来监测下端垃圾桶是否满载了。上层的投放口包含一个大的木质盖板将整个下层进行密封,同时设立了一个投放口,方便人们投放垃圾,显示屏也是搭载在上层投放口的板子上。

整个的机动部分由移动轴、舵机、垃圾暂存盒、支撑杆、连接器、投放板,这几个部分构成,通过舵机带动下面的垃圾暂存盒来实现水平面上的移动,当盒子到达指定位置时投放板通过另一舵机来打开角度,将垃圾倒入。图2 为机动部分3D 示意图。

图2 智能垃圾桶机动部分3D 图

由于还处于实验室阶段,暂时将控制装置也都搭载在了整个的上层木板上。

2.2 电控部分

在最初的设想是用stc52 单片机来进行控制,但在后期的测试中其稳定性不够,最终挑选了TI 公司生产的低功耗单片机MSP430F5529 作为主控,兼具节能和稳定两大优势。

在舵机的选型方面由于控制暂存盒开闭的舵机对角度的要求不是很高,90°就能达到要求,所以选用了15kg 的180°金属舵机。而上层的控制投放至指定位置控制的舵机则选用了20kg 的360°转角的金属舵机。

由于这两个器件都是大功率器件,有可能会损坏主控制板,所以还设计了一块稳压电路板来进行电压的转换,同时也有一定的隔离作用。通过AMS-ADJ 和AMS117 这两款降压芯片,在周围布置电容,电阻进行滤波,调压等可以实现电压的稳定与电压大小的转换。如图3 所示为稳压电路板的PCB 电路模型图,在使用过程中将所选用的9V 电源接入可分出5V,3.3V 和6.2V 的电压来实现整体的不同供电需求。为了保护主控板,对于主控板采用单独供电的方式并和稳压板进行共地。

图3 稳压电路板PCB 图

在监测垃圾桶是否满时使用了红外测距模块,同时搭配一块小的oled 显示屏来显示测量的距离信息方便调试与判断,同时向外预留了与上位机交互的引脚,来接收指令将垃圾投入指定垃圾桶,在垃圾过满时也可以将信息传达到上位机进行下一步的操作。

2.3 图像识别与交互部分

通过对于算力,速度和经济上面的多方面考虑最终确定了英伟达公司的Jetson Nano 作为整个项目的上位机,在其上搭载摄像头当有垃圾投入时对垃圾照片进行拍摄,然后通过网络上传至远端的服务器进行识别,同时本机也对其进行识别,然后将两者进行比较,并逐步优化本地的识别精度,然后将垃圾信息通过串口发送至下位机来实现垃圾投递。上位机还与一块液晶显示器连接,可以动态播放垃圾分类的短视频,同时在垃圾投入后显示垃圾的种类。图4 就是整个界面的实现结果显示。

图4 垃圾分类效果图

图像分类的深度学习实现及前端软件分为图像分类部分、用户交互部分。用户交互部分负责接收用户的图像并将结果展示给用户,实现了一个web 服务,该服务将用户的图像上传到阿里云OSS 上,以便后端服务器快速下载该图像,减少用户的等待时间,目前一个分类请求从图像捕捉开始到完成约4300ms,耗时与客户端上传速度较强联系,去除了上传的图片以外的平均请求时间约820ms,在体验过程中不会有卡顿感,也体现了其模型识别的速度快。

对于深度模型的训练我们采用较简单的VGG16 模型,它的输入层是224 的方形RGB 图像输入,由于分类的目标垃圾种类大约10 种,对VGG16 的全连接层做了修改,以便适应我们的训练任务。在训练过程中,发现这样的训练识别准确度不高,仅78%,经过对模型内部参数的多次调节,提高了训练精度,实现了预期的效果,对瓶子、易拉罐等常见家庭垃圾有了区分能力。

3 结论

有效的垃圾分类,可以方便人们更加合理的使用这些垃圾。分类之前的垃圾要想着如何处理,分类过后便可以变废为宝,实现循环利用带来更多的经济价值,同时减少环境污染,实现可持续发展。