开年第一篇｜在互动艺术中思考

正文字数：1902字

图片总数：19张

引言：你可以穿梭在古代的街巷之中，也可以用指尖牵动一座壮观的城市；可以动动手，在面前的电子屏上画出瑰丽的线条，也可以给自己安排一个“分身”，到“远方”放一簇烟火。各种沉浸式的场景里，人机互动的玩法非常多样，在数字技术的助力下，人与观看对象之间的“距离”似乎已经在淡化，传说中的“隔空取物”“足下生花”正在变成“现实”。元宵节过后，全年的工作有序展开了，准备好和信息交互研究所一起享受更新颖、更前沿、更有价值的一整年日更的设计资讯盛宴吧！

模仿游戏

Designer:李杭

交互｜装置艺术｜动作捕捉

《模仿游戏》是一件借助PoseNet人体姿态识别算法从而学习人类肢体语言的机器人装置艺术作品。作品主体是一个婴儿形态机器人，它可以识别并记录观众的肢体动作，通过算法驱动电机进行学习和模仿。

随着数据集的拓展和算法的迭代，它将跟随观众学会更多的人类肢体语言。这件作品试图以这样一种戏谑的方式和荒诞的游戏感，启发人们重新思考机器智能背后的技术伦理问题。

《模仿游戏》由姿态采集装置和婴儿机器人装置两部分构成。姿态采集装置可以通过摄像头捕捉观众当前的肢体动作，并输入机器学习算法对观众的姿态信息进行分析和学习，然后将算法生成的结果传递至机器人的控制主板，主板通过程序驱动关节处的电机使机器人做出与观众相似的表情和动作。此外，姿态采集装置还会自动保存观众的动作并导入至算法的数据集中。

影

Designer:刘艳

动作捕捉｜装置｜互动

这是为手影表演而创作的实验交互装置作品。本作品灵感来源于残障儿童纪录片中，聋哑儿童飞快的手语对话，虽然他们在身体上有一些缺陷，但是他们依旧充满活力，渴望快乐自由的表达自己。本作品旨在使普通人或不会手语的人通过手势动作与装置的互动也能表达自己的情感，从而和残障儿童产生共情。使用logic pro x、grm tools平台进行声音设计，通过teachable machine平台进行手势轮廓深度学习、触发。通过resolume arena平台进行视频图像艺术化处理。

该作品采用摄像头轮廓识别，来触发音乐，让舞者和音乐本身完美互动，创作音乐的随机性。表演时设置两个舞台，一个是手影表演舞者舞台。将摄像头在捕捉轮廓后将现实影像进行艺术化处理，投放到数字化大屏。

宇宙说

Design by:智在云天

交互游戏｜数字艺术｜沉浸式

“宇宙说”选取TouchDesigner新媒体技术，实时生成流动粒子宇宙、天地万物抽象画面，创造出全新的宇宙观语言。同时，采用LeapMotion立体手势识别，利用计算机传感器与编程虚拟实现体感手势空间交互，当体验者参与互动，粒子流根据体验者的手势动作而产生不同实时反应，体验者可从中感受到中国人浪漫、逍遥和超前的宇宙观，开启元宇宙解析的全新维度。

''宇宙说”是对世界之源头的提问，也体现出对元宇宙未来的尝试与探索。这套体感手势空间交互游戏呈现出来的创新玩法，不仅在技术上有所突破，更希望将观众带入一种较深层次的思考和体验当中。而在体验中也确实能够感到，充满想象力、变化万端的“画面”。当巨鲸自数字星云中而来，当“宇宙尘雾”喷薄涌动时，在背景音声的配合下，加上体验者自身通过手势等进行操作而在四周屏幕上造成的“游走”，带来一种强烈的参与感。

还有一种玩法，它是基于Unity开发的大屏互动系统，采用实时渲染方式打造了一幅精美的汴京上元节画卷，并利用国际领先的动作捕捉技术，高精准捕获人体运动数据，塑造真实完美的“数字化身”，通过AI换脸黑科技瞬间穿越古今，进入画卷体验宋朝代表性的民俗活动，如书生猜灯谜、内等子相扑、货郎挑担、小娘子踢毽子等，并且融入数字烟花、河灯、孔明灯等多种主题互动元素，身临其境感受传统文化的魅力。

和食

Design by:Moment Factory

交互｜装置艺术｜多模态

“和食”通过四个空间的数字艺术空间模拟了“烤、煨、炙、蒸”四种烹饪方式，并根据人淘米的手部动作，模拟米的运动方向，使观众在视觉、听觉、嗅觉的基础上加入触觉切实感受淘米的过程，感受美食的制作流程。

当体验者进入展览内部时，他们会穿过一个黑暗的沉浸空间。然后跟随——尾狐（即风格化投影动画），交互探索时令珍馐。体验者还会经历四种烹饪方式——“烤、煨、炙、蒸”；走过出汁、发酵和清酒制造地“圣域”；最后通过触觉交互的方式来体味日式美食最核心的部分“米”；而紧随其后的是美味的日式料理给各位观众品尝。此交互空间还使用了投影映射、视频技术、人体投影以及特效等技术，用多种技术手段来创造多模态的交互模式，只为充分展现其独特的美食文化。