正文字数：2964 字
图片总数：5 张
视频时长：7分16秒
引言：CMU HCII是卡内基梅隆大学人机交互研究所。研究所致力于连接计算机科学、设计、行为和社会科学领域的思想领袖，以开发以人为本的软件、服务和系统，通过技术改善人们的生活，创造更高效创新的系统以及理论。接下来让我们用几个项目了解一下卡内基梅隆大学人机交互研究所的成果吧！
01
Mutant cats
Designer: Jun-Yan Zhu
元宇宙｜时尚｜计算机视觉
Jun-Yan Zhu使用生成模型创建图像的最新作品转向了一个未知的领域，在那里猫变成了兔耳、恶魔角或阴险的外星人眼睛。Jun-Yan Zhu机器人研究所助理教授，曾与机器人学博士合作。学生 Sheng-Yu Wang 和东北大学助理教授David Bau 对生成模型进行变形，使其能够创造出全新的数字生物物种。
三位研究者提出了一种方法，允许用户仅编辑少数具有所需变形属性的图像。然后对这些编辑进行概括，以便模型可以在许多不同的图像中重现扭曲的结果。生成对抗网络 (GAN) 和扩散模型等深度生成模型是用于数字内容创建的强大机器学习模型。在一组数据（例如示例图像）上训练生成模型，并生成与该数据集相似的新图像。
Canvas和 DALLE-2等生成式 AI 驱动的内容创建工具用于编辑和处理照片和视频，是允许人们创建类似表情符号的头像的技术。但是 GAN 等生成模型需要大量数据进行训练，并且只能使用实际存在的数据进行训练。Zhu、Wang 和 Bau 无法使用传统的 GAN 来生成无数的长耳兔状猫的例子，因为这些猫的大量照片并不存在。相反，三人组寻找一种使用尽可能少的数据训练 GAN 的方法。在他们的研究中，只需要十几张经过编辑的图像就可以训练他们的变形模型。
02
Aphasia Games for Health
Designer: Jessica Hammer
无障碍｜娱乐｜脑科学
JessicaHammer认为制作游戏最重要的技术是大脑。“我的游戏旨在让玩家进入一种改变的状态，因此他们的大脑成为游戏系统的一部分，”托马斯和莉迪亚莫兰学习科学副教授 Hammer 说。“玩不是可以对你做的事情。它是你积极地用你的思想和身体做的事情。”
当大脑处于改变的游戏状态时，好事就会发生。Hammer 研究变革性游戏，即改变玩家思考、感受或行为方式的游戏。它们甚至可以帮助解决医学问题，帮助研究人员更好地了解大脑的工作原理。“游戏非常适合让患者进行任意活动，”Hammer 说。“例如，神经或神经生理问题的康复需要患者反复练习特定的事情。游戏可以让他们期待这样做。”
在Aphasia Games for Health中，Hammer 与匹兹堡大学的 William Evans 等人合作，帮助患有失语症的患者，失语症是一种影响人们交流方式的疾病。他们创建了一套免费游戏，失语症患者可以与他们的朋友、家人和在线社区一起玩。 “失语症患者可能需要多年的康复治疗，但并不是每个人都能做到，”Hammer 说。“无法沟通是非常孤立的。有一个强大的在线社区，由患者和家庭组成，他们已经在使用游戏作为社交互动的催化剂。我们希望确保他们使用的游戏也有康复的好处。”
“如果你在农村，如果你很偏远，如果你无法接触到面对面的团体，你可以在网上与人一起玩这些游戏。这是与其他人联系的一个很好的借口，”游戏设计者Hammer说。
03
TouchPose
Designer: Jessica Hammer
人机交互｜手势识别｜新技术
当前的触摸屏和触控板会遗漏很多信息。虽然在这些表面上获取手指交互的技术不断改进，但人机交互博士生Karan Ahuja开始思考除了触摸屏上的手指接触之外，研究人员还可以识别什么。“你与屏幕的所有交互都是二维的，但你的手具有非常复杂的 3D 几何形状，”Ahuja 说。“我想看看你是否可以利用关于手在互动时的形状的知识来提高你正在交换的信息的保真度。”
Ahuja 在苏黎世联邦理工学院计算机科学系任职期间与 Paul Streli 和 Christian Holz 合作开发了TouchPose，这是一种神经网络估计器，可根据智能手机和平板电脑触摸屏上手指触摸点的几何形状计算手部姿势。研究人员认为这是首创的工具，该团队在2021 年用户界面软件和技术研讨会的一篇论文中发表了他们的发现。
机器人技术、虚拟现实和其他领域的研究提供了一个强大的人类手部形态和运动动力学库。Ahuja 的想法是确定是否可以根据屏幕上的手指信息对手的姿势进行逆向工程。例如，如果您在将食指指尖放在触摸屏上的同时来回移动您的手，则什么也不会发生。但是，如果智能手机工具可以处理你指尖在屏幕上不断变化的形状，它就可以推断出你的手是向左还是向右、向前还是向后移动，并且你的手指可以像操纵杆一样使用。像这样的工具还可以帮助消除误触错误和歧义，这些错误和歧义会导致用户沮丧并降低速度。
训练模型的最终数据集包含超过 65,000 张图像。为了构建它，Ahuja 和他的同事花了一年的时间记录了 10 名参与者使用 14 个独特的手部姿势与平面屏幕进行交互。对于该模型，该团队开发了一种新的机器学习架构来处理研究的新颖性。
04
Mouth Haptics
Designer: Shen
VR｜娱乐｜触觉设计
嘴唇以性感着称，但与牙龈和舌头一起，它们也出奇地敏感，神经密度仅次于指尖。卡内基梅隆大学的研究人员利用后一种特性设计了一种实用的新方法，让人们在虚拟世界中接收触觉反馈。他们的系统使用空气传播的超声波在嘴唇、牙齿和舌头上产生感觉，而且体积小、重量轻，可以附在虚拟现实 (VR) 护目镜的底部。
想象一个 VR 世界，里面有一个饮水机。“每次你俯身并认为你应该感受水流时，突然之间你会感觉到一股水流从你的嘴唇上流过，”二年级博士生 Vivian Shen 说。机器人学院学生。“这很酷。它让体验更加身临其境。”
在未来界面小组(FIG) 工作的 Shen 和人机交互研究所(HCII)的博士后研究员 Craig Shultz也使用该系统创造了雨滴、泥浆飞溅和爬虫等触觉效果。Shen 和 Shultz 与HCII 副教授兼 FIG 实验室主任Chris Harrison共同开发了该系统。Shen 将于 5 月 2 日星期一在计算机协会计算系统人为因素会议(CHI 2022) 上介绍该团队的研究，该工作获得了最佳论文奖。
研究人员已经使用超声波向手传递感觉，使他们能够创造触觉效果，例如用户可以感知自己按下的虚拟按钮。Shen 说，因为超声波可以在空气中传播——尽管只能传播很短的距离——它们似乎是基于嘴巴的触觉的可能解决方案。
大多数人都熟悉医学超声成像和探头，尽管这些设备并不以振动或以其他方式刺激皮肤而闻名。尽管如此，仍可以使用这些频率高于人耳阈值的声波，通过将它们聚焦到一个小区域来产生感觉。
CMU HCII开发的设备是一个由 64 个微型传感器组成的相控阵。扁平的半月形阵列连接到 VR 护目镜的底部，因此它正好位于嘴巴上方。触觉效果包括以嘴为目标并与视觉图像同步的点脉冲、滑动和持续振动。使用 16 名志愿者评估了各种效果。所有受试者都报告说嘴部触觉增强了他们的 VR 体验。
一位志愿者说：“没有触觉，很难判断什么时候应该接触我的脸。”并非所有效果都同样有用。那些针对口腔的——比如刷牙、从开着的窗户感受雨滴或感受虫子从嘴唇上爬过——最为成功。其他的，比如穿过蜘蛛网的感觉，被证明很有趣，但是因为人们希望在身体的大部分部位而不只是嘴巴上感受到这些感觉，所以效果就不那么强大了。
Shen 观察到，即使是从以嘴为导向的饮水机喝水，也可能有点迷失方向。“这很奇怪，因为你能感觉到水，但它并不湿，”她说。“我们的相控阵在真正具有表现力和价格实惠之间取得了平衡，”Shen说。进一步的工作可能会在目录中添加新的触觉效果，并使设备更小更轻。
素材来源：
https://hcii.cmu.edu/
本文来自微信公众号“信息与交互设计研究所”（ID：gh_c1cd7847b233）。大作社经授权转载，该文观点仅代表作者本人，大作社平台仅提供信息存储空间服务。
