基于iOS平台AR与ML的古诗App设计

杨帆 朱丽进

摘要：基于iOS[1]移动操作系统中的增强现实（Augmented Reality）[2]和机器学习（Machine Learning）[3]技术，与中华传统文化古诗将结合，设计了一款集听说读画考为一体的应用程序—画中诗App。该App充满趣味性和创作性，既能陶冶用户的文学素养，又可以培养想象力和创造力。

关键词：iOS;AR;ML;古诗;App

中图分类号：TP311        文献标识码：A

文章编号：1009-3044（2022）11-0058-04

1 前言

画中诗是一款基于ARKit[4]、Core ML[5-6]以及PencilKit[7]技术实现，辅助青少年儿童学习传统古诗文化的App。该App以虚拟游戏为载体，增强学习的趣味性，用人工智能技术让古诗文化与现实相融合，用视听感官来加深对古诗的记忆，同时包含丰富的古诗注释、译文、朗读功能。画中诗App集听、说、读、画、考为一体，用户可以全身心参与古诗学习，解决了古诗学习相对枯燥乏味难以理解的问题，提升用户对古诗学习兴趣。

2 整体设计

App主要分为4大模块，分别为用户模块、古诗学习模块、擂台赛模块和特色模块，各个模块的主要功能如下：

1） 用户模块：该模块主要包含登录和注册功能、设置功能、收藏功能，可以签到、查看和修改个人资料，引入家长计划控制孩子的学习时间和学习进度。

2） 古诗学习模块：该模块包含山水田园诗、边塞征战诗、思乡怀旅诗、咏物怀志诗、友人送别诗五大古诗主题的视频讲解、朗诵古诗、古诗释文。

3） 擂台赛模块：该模块包含以游戏为载体的三种学习方式：你画我猜功能、以画选诗功能、填字游戏。

4） 特色模块：该模块包含基于AR的朗读者，基于ML的火眼金睛和基于PencilKit的创作屋三个功能。

3 详细设计

3.1 用户模块设计

点击App后会进入登录界面，如图1所示，该App给用户提供了三种方式开启古诗学习旅程：用户可以使用手机号配合验证码进行登录，也可以使用注册的用户名和密码进行登录，还可以通过微信或者QQ进行登录。如果不想登录，可以点击游客登录先了解一下App功能再决定是否注册使用。

登录成功后的主界面为山水田园诗界面，如图2所示，App的默认界面为山水田园诗界面。其中的签到功能将记录用户每周的签到情况。该App还引入家长计划，即家长可以为孩子制定学习古诗计划，为避免孩子过度沉迷和囫囵吞枣，家长制定的每天古诗学习计划不能超过3首。

用户点击主页的头像可以进入个人资料界面，在该界面选择各个功能点进入各子功能界面，如图3所示。用户头像上标有学习头衔，该头衔是根据用户解锁的古诗数量兑换而来。头衔采用古代科举考试制度的头衔从低到高为：白丁、童生、秀才、举人、贡士、进士、探花、榜眼、状元，更加契合古诗的意境。

3.2 古诗学习模块设计

在主界面，用户可以手指左滑画轴切换古诗主题，然后在设置中选择学习难度：按年级划分为一到六年级。每个年级都有五大主题的必学古诗，每个主题相关的必学古诗学习完成后可以解锁拓展古诗。

该App把古诗划分为五大主题来让用户学习古诗分别为：山水田园诗、友人送别诗、咏物怀古诗、思乡怀旅诗、边塞征战诗。以山水田园诗主题为例，点击中间山水田园诗图片按钮进入解锁古诗关卡界面，如图4所示。然后点击黄色图书的图片按钮解锁古诗开始学习，如图5所示。

古诗学习的默认界面为看古诗的视频界面，如图6所示。App提供看古诗、读古诗、注释、译文四个方面全方位的学习，辅助掌握古诗，并且可以利用创作屋来完成古诗的诗意创作。

用户可以点击界面下方的功能按钮开启古诗学习的各功能，图6为看古诗界面，包含一个视频的古诗解说。图7为读古诗界面，包含古诗的全文和拼音。图8为注释界面，对古诗中的重难点字词进行了解释。图9为译文界面，对古诗全文进行了白话文翻译。

3.3 擂台赛模块设计

点击主页的“擂台赛”图标按钮进入擂台赛选择关卡功能界面，用于测试用户对古诗的掌握程度，如图10所示。擂台赛按难度分为初级、中级和高级，用户选择相应的难度进行攻擂挑战。挑战关卡分为两关：你画我猜和诗句填填乐。完成每个关卡的比拼可以获得相应的积分奖励。

点击“你画我猜”图片按钮进入你画我猜功能界面，如图11所示。App会随机根据用户当天解锁的古诗发布图片，在规定时间内答出与该图片相关的诗句，答对可以获得相应的积分奖励。

点击“爱上填填乐”图片按钮进入爱上填填乐功能界面，如图12所示。App随机根据用户当天所解锁的古诗发布题，用户需在规定时间内把古诗缺少的字补充完整，每连成一句诗可以获得相应的积分奖励。

擂台赛模块获得的积分进行累计，用户可以使用积分解锁人物，500积分兑换一次，但限制用户每天在每个关卡只有3次挑战机会。

3.4 特色功能设计

特色功能模块分为三个：火眼金睛、朗读者、创作屋。

3.4.1 基于ML的火眼金睛

火眼金睛功能讓用户可以通过相机拍下身边的美景，然后配合ML的图像的识别功能识别图片的主要元素，并为图片的主要元素配上诗句，用户通过手机拍照就能知晓蕴含在身边的诗意。

用户点击主页的“火眼金睛”图标按钮，进入火眼金睛功能主界面，如图13所示。然后点击“点击进入”按钮，进入图片选择界面，用户可以通过拍摄照片也可以从相册中选取图片进行识别，如图14所示。

图片选择以后，会通过云端的人工智能和本地的端智能进行识别推测，界面如图15所示。如果识别成功，App会在界面显示与之相关的诗句，如图16所示。

Core ML是Apple提供的机器学习框架，在App中将使用Apple已经训练好的模型，搭配着用户所拍摄下来的静态照片，利用模型去侦测照片里的各项元素，有了照片元素资讯后该App将会与该App内建的资料库进行比对，挑选出诗词中含有最多相似元素的诗词，并且呈现给用户阅读。

在模型的部分，使用YOLOv3训练模型，该模型可以识别照片中的物件，除了YOLOv3模型以外，还需要搭配YOLOv3-Tiny训练模型，该模型可以侦测到物体较小的元素，让辨识出来的内容更加精准。该功能让用户可以拥有全新的方式来欣赏古诗词，也可以启发用户的灵感，尝试睹物吟诗的乐趣。

3.4.2 基于AR的朗读者

朗读者功能使用AR技术设计一位可以出现在现实场景中的人物，用户使用该功能可以和AR人物一起互动学习。区别于2D平面人物效果，AR人物出现在现实场景中，给用户一种更加直观的视觉体验同时也更能提高用户的学习兴趣。家长用户可以把AR人物陪伴用户吟诗的过程录制成视频保存到相册中记录孩子学习风采，同时家长也可以将视频分享到朋友圈让更多人看到孩子的风采。

用户点击主页的“朗读者”图标按钮，进入朗读者功能主界面，如图17所示。该功能使用AR技术让AR人物出现在现实场景中，陪伴用户吟诗。选择“点击进入” 按钮，长按屏幕可以召唤AR人物，如图18所示。用户可以使用摄像头将与AR人物互动的过程录制成视频，该功能的主要操作说明如图19、图20、图21所示。

该功能首先需要将建立好的3D模型透过Converter转成USDZ格式，让模型能够在ARKit的视图中顺利呈现，在3D 模型在画面呈现的同时，利用媒体播放器将已经录制好的古诗语音信息与模型的动作同步出现在画面中，以虚实结合的方式引领用户激发学习兴趣，使古诗之美能永远流传。

该功能使用iPad最新搭配LiDAR激光雷达扫描仪来实现，LiDAR激光雷达扫描仪能够获取物件的深度感测信息，有了距离的感测，可以在ARKit的场景内准确地显示朗读者的3D模型，模型距离镜头的距离会与使用者距离镜头的距离相等，映照出真实人物与虚拟人物对谈的效果。

3.4.3 基于PencilKit的创作屋

创作屋功能是让用户利用Apple Pencil在创作屋中发挥想象力完成自己对古诗所蕴含的诗意或诗境的绘画。绘画作品会保存到用户的“个人作品展”中方便用户观看，同时用户也可以把作品分享到微信朋友和QQ好友。创作屋分为三个模块：新手教程、文思泉涌和别有天地。用户可以根据自己对古诗的理解，在创作屋功能点中，使用该App提供的素材或者自己绘画的素材，绘画出古诗的意境。该功能不仅让用户更好地使用 Apple Pencil来培养用户的创造力和想象力，还可以让家长有更好的陪伴经验与用户一同学习。

点击主页的“创作屋”图标按钮，进入创作主界面，如图22所示。点击“开始使用”按钮后，在界面跳出的创作选项中选择其中一个选项完成古诗诗意创作，如图23所示。创作完成的作品可以分享给QQ或微信好友，图24所示为“创作屋”文思泉涌模块界面。该界面的下方提供各种画笔和色彩的选择，用户可以搭配PencilKit进行创作，将创意的画作通过笔触完美地呈现出来。当用户完成古诗的创作后，App会将用户的图画转换成图片，用户可以选择将自己的创作分享到第三方平台，与朋友共同欣赏创作的诗情画意。

4 总结

文化是一个国家、一个民族的灵魂。文化兴，国运兴;文化强，民族强。中华民族的伟大复兴需要高度的文化自信和文化繁荣。诗文是中国传统文化的精华，该App从传统文化中的古诗出发，利用了ARKit、Core ML、PencilKit等技术让古诗不再难以理解、学习不再枯燥无味。随着移动设备的普及和人工智能技术的发展，中华传统文化可以与其相结合，利用科技成果来更好地弘扬和传承传统文化。

参考文献：

[1] Apple.Human Interface Guidelines[EB/OL].[2021-03-04].https：//developer.apple.com/design/human-interface-guidelines/ios.

[2] 朱淼良， 姚远， 蒋云良. 增强现实综述[J].中国图象图形学报，2004（7）：3-10.

[3] 王珏，石纯一.机器学习研究[J].广西师范大学学报（自然科学版），2003（2）：1-15.

[4] Apple.Augmented Reality[EB/OL].[2021-03-04].https：//developer.apple.com/augmented-reality.

[5] Apple.Machine Learning[EB/OL].[2021-03-04].https：//developer.apple.com/machine-learning.

[6] Apple.Create ML[EB/OL].[2021-03-04].https：//developer.apple.com/machine-learning/create-ml.

[7] Apple.PencilKit[EB/OL].[2021-03-04].https：//developer.apple.com/documentation/pencilkit.

收稿日期：2021-07-23

基金項目：安徽省教育厅自然科学重点研究项目《AR 及 Core ML 技术在古诗 App“绘传承”中的应用研究》（KJ2020A1082） ;安徽省教育厅教学团队项目《移动应用开发教学团队》（2020jxtd093） ;安徽商贸职业技术学院科研项目《基于“建模+交互”技术路径的虚拟现实漫游系统开发》（2020KYZ03）

作者简介：杨帆（1989—），男，安徽怀宁人，讲师，硕士，主要研究方向为移动应用开发;朱丽进（1986—），女，安徽庐江人，讲师，硕士，主要研究方向为交互式UI设计。