AR技术在美术类书籍数字化呈现中的应用
来源:用户上传
作者:
摘 要 AR技术在书籍数字化呈现中的应用较多关注童书与医书，鲜见美术类书籍。通过梳理AR技术在美术类书籍中的应用范围，分析美术类书籍二维与三维全景AR数据采集方法，提出美术类书籍AR可视与可听内容的设计，建议设计师参考认知负荷与眼动追踪理论，为美术类书籍数字化AR呈现，在素材数据的采集、处理、展示与利用方面提出可行性建议。
关键词 AR技术;美术类书籍;采集;呈现;陶瓷
引用本文格式 孙晓燕. AR技术在美术类书籍数字化呈现中的应用[J].创意设计源，2019（6）：17-21.
The Application of AR Technology in Digital Presentation of Art Books
SUN Xiaoyan
Abstract The application of AR technology in the digital presentation of books， more attention to children's books and medical books， rarely art books. Through combing the AR technology in the application of art books， 2D and 3D panoramic analysis of art books AR data acquisition method， put forward the art books AR visual and audible content design， digital AR present for art books， in the material data acquisition， processing， display and utilization in feasible suggestions are put forward.
Key Words AR technology;Art books;Acquisition;Present;Ceram
[基金项目] 本文系2018年度河南省软科学研究计划项目“河南省建设全国重要文化高地的对策研究”（项目编号：182400410220）;2018年度河南省教育厅人文社会科学研究项目“基于AR技术的河南陶瓷文化遗产保护方法转型研究”（项目编号：2018-ZZJH-104）;2019年度河南省高等学校青年骨干教师培养计划（项目编号：2019GGJS091）阶段性成果。
引言
AR（Augmented Reality，简称AR）书籍与VR（Virtual Reality，简称VR）书籍是目前出版行业针对大众阅读方式的改变而探索出的转型产品，这种体验式的全新阅读方式使读者在阅读过程中接受信息的途径更加多元化。AR书籍与VR书籍的区别在于，前者是对真实环境提供信息的补充，后者则是引领读者进入一个完全虚拟的世界。近年来增加现实技术不断发展，形成了魔镜技术（See Through）和空间增强技术 （Spatial Augmented），这两种技术途径在文化遗址展示中均有运用。[1]
有关AR技术在书籍出版中的应用，较多案例是关注儿童书籍（图1）、医学书籍等，鲜见美术类书籍。现有美术类书籍数字化多注重二维的视角呈现，而作品对场景的呈现、不同媒材的制作工艺、多视角的观察体验是现有数字类书籍不能实现的。2017年国家出台《关于实施中华优秀传统文化传承发展工程的意见》指出当下迫切需要深入挖掘中华优秀传统文化价值内涵，进一步激发中华优秀传统文化的生机与活力;《国家文物事业发展“十三五”规划》提出“多措并举让文物活起来”，本文以此为契机，展开AR技术在美术类书籍内容设计中的探讨。
一、美术类书籍出版现状
（一）美术类书籍出版资源
绘画、雕塑、工艺美术、建筑、书法篆刻等视觉文化研究类书籍越来越多地被考古、文博、拍卖、教育、科研院所等行业利用。美术类书籍的特点如下：针对特定的读者群，利润空间大;发行量小，销售周期长。若使美术类书籍能够引起数字出版的长尾效应，就必须使其对受众具有强烈的吸引力。在大数据应用环境下，用户终端的所有信息例如：何时、何地、選择性阅读的内容、单页停留时间等均可用以研究受众阅读行为习惯与偏好，精准确定受众知识获取需求，深度开发主题性、专业性较强的数字出版产品。
（二）AR技术在美术类书籍数字化呈现中的应用范围
AR技术可以完善和丰富人们探究艺术领域的方法，让公众也有可能接触到那些本身易损的文献资料。以下分别从绘画、雕塑、工艺美术、建筑、书法这五个方面进行分析。
绘画：大众对绘画的认知较多停留在传世卷轴画，由于古书画的纸张、绢绫、颜料为有机质，对环境的要求较高（温度、湿度以及光照），传世的著名卷轴画多为后世摹本。今天我们可以看到的唐朝之前的绘画大多为壁画、帛画及漆木器上的图像。AR技术可以将这部分的图像完整展示出来，以补充早期绘画资料的不足。
雕塑：现有书籍的雕塑插图展示角度单一，面对一件雕塑品一般只会选择其视觉效果最好的角度进行展示。例如甘肃武威出土的铜奔马（图2），其侧面形象地展示了骏马风驰电掣的奔腾气势，被用于中国旅游的标志。但对于观者来说，应从各个角度全面观察才能客观地理解作品内涵，正面的铜奔马会给读者不一样的视觉体验，但这部分信息一般都被省略掉了。
工艺美术：工艺美术的传世品与出土物较多，我国先秦时期的古籍《考工记》已经提出了工艺美术的评价标准“材美工巧”，材料好、工艺好。古代优秀的工匠和上等的材料都被官府垄断，今天我们能在博物馆里看到的优秀工艺美术作品只呈现出制品的完成状态，AR技术可以将艺术品的材质优选、造型特征以及制作工艺过程还原出来，使公众对作品的认知进一步加深。 建筑：空间是建筑的主角，建筑提供给人们的除了室内空间，还包括纪念碑、广场、桥梁等室外空间。AR技术可以将建筑与人的比例进行反转，使观者站可以以自主选择的视角进行观察。
书法：中国人对书法的推崇从古至今从未间断，公众惊叹于传世书法作品的骨法用笔，但对于没有研习过书法的普通大众来讲，只看最终作品而无法得知运笔的起收、顺逆、提按、迟速、藏露以及对笔锋的掌控，特别是运笔中腕、肘、指的变化与字体的关系。AR技术可以将作品书写过程中的运笔过程还原出来，一方面为书法研习者提供学习参考，另一方面也可为普通大众提供知识普及。
二、美术类书籍AR数据采集
美术类书籍AR数据采集是指将文献和文物等进行高质量、无损坏的扫描。采集方案的制定与采集技术的选择是AR技术呈现质量的关键所在，广泛而全面地从源头获取高质量的数据是美术类AR书籍长期而艰巨的任务。
（一）二维数字化采集
二维数字化采集技术主要是针对古籍、画稿、图册、平面纹理等二维文物对象提出的。[2]但囿于设备、技术与成本，美术书籍数字化采集主要采用二维手段，对于普及类书籍勉强够用。但随着人们阅读评价标准的日益提高以及读者深度阅读需求的增加，二维数字化采集技术显得杯水车薪。
（二）三维全景数字化采集
三维激光扫描技术主要是利用扫描仪，通过三维扫描测量技术，采集物体的空间坐标、尺寸以及纹理影响等数据。[3]在不接触、无损害的前提下，通过扫描获取的数据为后期的三维重建提供了重要的数据支撑。三维扫描的优势体现在：对于封闭的器物，在不破坏器物的前提下，即可获取其内部结构与工艺信息。其弊端是：后期处理数据时，扫描点云与文物自身的纹理不能自动匹配，后期处理数据时工作量较大。例如壁画的三维扫描中就不能找到足够的匹配点，继而影响纹理贴合的精准度。再如陶瓷类制品表面的釉色与纹理效果非常丰富，但反光度高，在进行三维数字化采集过程中会出现数据缺失的现象。
三、美术类书籍AR可视内容的设计
在AR出版物中叙事设计的元素主要有纸质内容中的文本、图片和AR内容中的声音、模型和动画。[4]135美术类书籍则偏重将素材AR的音频、视频、360°场景与模型动画等链入纸质媒体之中。
（一）素材本体可视内容的呈现
二维呈现的主要有绘画、书法等平面形态的素材;三维呈现的主要有工艺美术品、建筑、雕塑等立体形态的元素。AR呈现的途径是通过材料、造型与工艺来完成。利用3D模型结构的呈现是AR表现的主要优势，可满足观者平移、缩放、旋转等多视角观察的需求，在不切割器物的前提下，制作准确的平、剖面图。国家文物局支持项目——陕西历史博物馆藏品图册是美术类书籍较早涉足AR呈现的案例（图3），纸质图册仅提供实物图与线图，语音旁白与纸质书籍的文字内容也相对应，但未提供平、剖面图，知识扩展度有限。
以陶瓷器为例，钧瓷是我国北方产瓷区的重要品类，器型古拙、釉色多变，其独特的窑变釉工艺延续至今，连年作为国礼赠与各国政要。钧瓷制品的AR可视内容可从材料、器型、工艺、窑址四部分入手。
材料：陶瓷是由泥土、水与火构成的艺术，大型瓷窑均采用就地取材的原则。历史上，由于森林植被的萎缩与燃料的减少，一些著名瓷窑相继衰败。AR技术可利用3D模型将制瓷材料取用、物候的变化与自然环境的变迁向观者展示陶瓷在历史脉络中的兴衰轨迹。
造型：钧瓷AR展示的重点是器型、釉色与装饰。古代钧官窑制品主要以花盆、尊、瓶为主，今天的钧窑制品为融入现代生活，在器型上与其他瓷窑相日渐趋同，但“钧瓷无双”的窑变釉色仍然使其具有极高的辨识度。钧瓷以重器型与釉色轻纹饰著称，今天的钧瓷制品常用装饰手法以模印、镂、印塑等技法为主。AR展示中可利用3D模型进行手工拉坯、修改模型等交互体验，读者既可以仿制古钧瓷传统器型，又可进行含有流行元素的现代钧瓷创新设计。
工艺：工艺包括原料制备、坯体成型、坯体干燥及素烧、施釉、烧成等。用AR展示中3D模型交互式动画来实现读者与钧瓷烧造工艺流程的互动，读者可随个人喜好自主选择手工拉坯的造型、调配釉料、模印与贴塑的零件等，打造个性化定制钧瓷制品。
窑址：1999年《巴拉宪章》提出“具有文化重要性的场所丰富了人類的生活，在社会和景观，过去与现实体验之间建立了深刻而富有灵感的联系。全力保护并利用这些场所，同时尽可能不对其做出任何改造，以保存其文化重要性。” 我国北方古代瓷窑因战乱频繁、年代久远，有些瓷窑仅存基址，窑炉结构多已衰败不堪（图4），装烧工艺也仅凭后世推测。AR技术将窑址考古发现的瓷窑基址、窑具标本修复重建，为复原古窑场布局提供数字支持。凭借AR技术揭露历史时期地层堆积，解析地层瓷片与窑具标本（图5、6），为古陶瓷的分期呈现提供思路。AR技术不但可以重现地区窑址的时空分布和单个窑场的基本布局，又可将瓷窑衰落与窑场转移进行勾连。历史遗迹的衰败与现代文明的发展相互碰撞，我们必须为今天与后世的人们保护这些具有文化重要性的场所。
（二）素材对场景的呈现
素材对场景的呈现主要指出土环境与展陈环境。在考古发掘过程中对遗迹空间形态与地层的关系通常采用照片建模的技术进行展现，有利于复现器物的发掘过程，实现历时性研究。AR展示除了要完成器物本体的呈现，还应注意到器物在遗迹中的位置以及遗迹器物之间的组合关系，这对于研究器物的礼仪与社会功能提供了重要的佐证。
展陈环境是指器物在博物馆空间中的呈现，这时的器物已经离开了发掘地，利用AR技术可实现器物古今处境的切换。相较于传统的线性陈列展，主题性展览因其清晰的问题意识、专业的学术支持越来越受到观众的欢迎，AR空间呈现既要考虑纵向历史脉络，更要注意以器物为立足点，勾连出文化碰撞所产生的对抗与融合的关系。
四、美术类书籍AR可听内容的设计 AR可听内容包括语音旁白、背景音乐、配合模型或动画使用的音效、读者与虚拟角色进行互动的声音等。[4]135
（一）古代乐器声音呈现
2016年9月北京大学赛克勒考古与艺术博物馆《华夏遗韵——中原古代音乐文物展》展示了从新石器时代到春秋时期的古代乐器，是较为系统的呈现。乐器是作为文物静置在展柜中，观者并不知道这些乐器的音色、音域以及合奏的音效是什么样的，相关的图录与著述中也都没有立体的呈现。观者只能通过观察乐器的结构、纹饰与组合，遥想钟罄齐鸣，一场听觉的盛宴无奈地转换成视觉的游历。AR出版物可以立体展示不同媒材古代乐器的模型音色以及与虚拟乐器组合的互动。以青铜编钟为例，AR技术可以通过模型，展示不同大小与类型的铜钟（钮钟、镈钟、甬钟）正鼓音与侧鼓音的音色与音阶。读者既可实现庙堂雅乐的自主演奏，又可通过模型完整聆听华夏遗韵的金声玉振。
（二）古代绘画“活化”的声音呈现
中国古代绘画根据所绘内容的不同分为人物、山水与花鸟三科，近年来一些科研院所与展陈机构已经开始进行典藏品的活化，从2014年末中国国家博物馆《乾隆南巡图》长卷数字展示到2018年故宫博物院《清明上河图3.0》超高清数字互动技术、4D动感影像展示，沉浸式的交互体验已经成为古代绘画“活化”的重要诉求。绘画中的声音也是我们理解画意的重要途径。以宋本《清明上河图》为例，AR叙事中背景音乐可根据画卷首、中、尾三段章节进行设定，中国古代绘画中内容的声音设定除了考虑人物、山水與花鸟的音效外，还应注意古画中通常伴有大量器用与陈设的图像，这些图像为我们了解古代的物质文化带来了便利，在声音内容的设定中可考虑将不同材质的器皿、家具、服饰、舞蹈、乐器的音效引入AR声音呈现。
五、认知负荷的合理性
1988年澳大利亚著名心理学家约翰·斯威勒提出“认知负荷”理论（Cognitive Load Theory）。认知负荷是人在处理需要完成的具体任务时，通过信息加工产生的心理资源总量。[5]从认知负荷角度对AR美术类书籍数字化呈现进行分析，过量的认知负荷会导致受众注意力低下、学习效率降低等问题。
（一）认知负荷
认知负荷分为内在认知负荷与外在认知负荷两种类型。
内在认知负荷（Intrinsic Load）由学习材料确定，其影响因素包括学习材料性质和元素交互性水平。[6]86学习材料或者学习者发生变化就会使内在认知负荷发生变化。例如：如果使用AR美术类数字书籍的是美术史家，那么与普通大众相比，内在认知负荷元素交互性降低。
外在认知负荷（Extraneous Load）的影响因素是学习材料的呈现方式。外在认知负荷会干扰受众的学习，AR美术类数字书籍的设计人员要努力降低或消除其冗余信息的影响。冗余信息包括用多种形式提供的相同信息（如供聆听或阅读的文字），或不必要的装饰性信息（诱人的细节、与文字有关的动画等）。[6]87当冗余效应产生时，设计师应尽量减少信息源，适度利用AR视觉与听觉双通道混合呈现。
（二）眼动追踪技术
眼动追踪技术是一项重要的心理测量技术，在教育领域，眼动数据的测量可以反映学习者的认知过程、阅读理解机制和视觉加工过程，是学习状态的第一手资料。[7]影响认知负荷的三项眼动指标分别为注视时间（Fixation Time）、注视点个数（Fixation Count）与瞳孔直径（Pupillometry）。眼动指标与认知负荷的关系如表1所示。
AR设计师应参考认知负荷与眼动追踪理论下的用户感官质量与行为模式研究，遵循适度显示的原则，考虑使用终端的屏幕空间显示因素，合理控制AR可视内容的呈现数量，为受众提供舒适、高效的学习体验。
结语
美术类书籍AR内容设计的关键在于素材数据的采集、处理、展示与利用，难点在于素材数据的获取、处理与重建。素材视觉化的虚拟展示是美术遗产有效保护的途径，也是传承古代工艺、审美、知识与信仰的全新渠道。在适度原则的前提下开展美术类书籍AR应用探索，为读者打开认识中国艺术与文化的窗口。
参考文献
[1]康丽娟.增强现实在文化遗址展示中的运用研究[J]装饰，2018（3）：97-99.
[2]黄俊，杨晓飞.博物馆数字化科普平台建设[J].文物保护与考古科学，2014（4）：117-121.
[3]姚娅，宋国定.三维重建技术在考古中的应用与探讨[J].文物保护与考古科学，2017（10）：96.
[4] 张燕翔，张伟伟.增强现实出版物的叙事设计研究[J].科技与出版，2018（6）.
[5]Sweller J. Cognitive load during problem solving： Effects on learning[J]. Cognitive Science， 1988（2）：257-285.
[6]陈欧昊，杰夫·伍尔科特，约翰·斯维勒.基于认知负荷理论设计慕课[J].张恩铭，盛群力，译.数字教育，2019（8）.
[7]薛耀锋，李卓玮.基于眼动追踪技术的在线学习认知负荷量化模型研究[J].现代教育技术，2019（7）：59-65.
孙晓燕
河南工业大学
转载注明来源:https://www.xzbu.com/1/view-15248230.htm
