Meta为全天候AR眼镜设计了AI系统的八大指导方针

众所周知，Meta不仅局限在Quest这类VR头显上，同时还在打造更轻量化的AR眼镜，目标就是让产品更好的融入到人们的日常生活中去。除了硬件上轻量化以外，在功能和交互体验上也至关重要，例如自然交互方式，比如手势输入，以及AI视觉助手等，这其中和计算机视觉和AI技术密不可分。

​AI技术将会是AR眼镜的重要组成部分，通过实时给用户提供回答和建议等帮助（例如推荐导航路线、甚至日程、根据喜好推荐菜品等）来提升AR眼镜的实用性，将会成为Meta AR眼镜的卖点之一。尤其是，考虑到Meta近年来在AI技术上的投入，我们完全有理由相信这一点。

​Reality Labs公布了一项研究：XAIR，从中我们可以了解到AR眼镜中AI系统的设计准则。该框架基于可解释人工智能框架（XAI）和人机交互（HCI）等研究，其中内含8大设计准则，可为AR眼镜的AI设计提供有价值的参考。

实验中使用了HoloLens头显

什么是XAI？

​据青亭网了解，XAI(Explainable AI)又称透明AI(Transparent AI)，特点是行为容易被人所理解。大多数基于机器学习的AI都是在所谓的黑盒中运行，由于无法提供决策背后的原因和见解，此类AI具有一定风险性，因为不确定它是否可信、可靠，是否存在偏见。

XAI的概念可以追溯到四十多年前，后来随着黑盒AI/ML模型的成功，XAI技术开始受到学术业、监管机构等各行各业关注。研究表明，XAI将有望为用户提供清晰的决策，并建立信任。因此在工业领域，已经开始将XAI应用于日常场景，改善用户体验。

XAI可以服务于不同的目标受众，有各种不同的用途。早期的XAI研究仅关注算法开发者、数据科学家，以及临床医疗等领域的专家，而近年来越来越多的XAI开始面向普通用户，与消费级产品集成，比如在购物网站上显示推荐某产品的原因等等。不过，这目前还在早期阶段。

​XAI的重要性

想要让AI被人类广泛理解，将涉及多学科研究工作。比如，ML研究人员开发了生成透明模型的算法（例如，决策树、贝叶斯模型），或使用事后解释技术（例如，特征重要性、视觉解释）来生成解释。而HCI研究人员，则专注于提高用户信任度，以及对机器生成解释的理解。另一方面，心理学研究人员从更基本的角度研究XAI，研究人们如何生成、交流和理解。

公开透明的AI也很重要，它符合未来其在AR/VR领域的发展策略。在XAIR研究中，XAI的目的是通过生成细节或理由，来帮助用户清楚、容易理解AI的决策和功能。Meta指出，XAI是AI驱动的交互系统的重要组成部分，未来也会在日常AR应用中起重要作用，辅助用户与可视化的智能服务互动。XAI可以让AR智能系统的行为更好理解，避免意外的AI决策，并培养隐私意识，获得用户的信任。

不过，目前Meta面临的一个难题，是为日常AR应用创建有效的XAI体验。大多数现有的XAI研究侧重于将解释类型和生成技术分类，而没有考虑到日常AR场景的特点，比如用户和上下文产生的感知信息，全天候运行，适应能力好等因素。这些因素不仅可以形成更人性化的解释，还会影响解释接口的设计。

因此，Meta提出了XAIR设计框架，该框架描述了何时、如何解释AR中AI的决策。为了构建XAIR框架，还进行了一场500人实验，目的是收集他们对于AR体验设计的偏好。此外，还参考了12位专家对于AR交互的见解。

本次研究的重点，是确定三点问题：

• AI该何时做出解释；
• 可以解释什么；
• 如何解释。

​先前的研究已经探讨了前两个问题，尽管非针对AR，但还是为XAIR的设计提供了一些有用的信息。

XAI设计指南

Meta认为，如果AR眼镜具备智能服务，那么AI将起到重要作用，比如根据AR眼镜传感器捕捉到的信息，为用户提供基于上下文的建议。除此之外，AI与用户交互需要基于有效的XAI设计，以确保AI决策可靠、值得信赖，从而改善用户体验。

与针对电脑、手机上的现有XAI框架不同，AR的XAI设计需要结合更深层、更丰富的上下文信息（甚至还要考虑用户的状态），因此需要为AR专门重新设计。而且，AR的XAI还需要具有3D感知能力、实时在线，才能应用于日常AR场景，将解释内容与物理空间融合。比如，在推荐食谱时，同时突出用户冰箱中的食材，即根据场景上下文来解释决策。而相比之下，市面上已有的XAI框架并不能满足这些需求。

于是，Meta通过用户调查总结了8大设计指南：

• 1）始终生成AI结果，确保用户在需要时可便捷的访问；
• 2）不自动触发解释，除非满足2个条件——识别到用户高认知负荷、紧迫感等情况，或是识别到用户惊讶、困惑、不熟悉、不确定等状态；
• 3）个性化解释内容需考虑三个因素：​系统目标、用户目标和用户画像；
• 4）在默认状态，优先考虑为什么解释，并选择简明的解释；
• 5）​始终提供更详细的解释，可以通过小的提示窗口等，让用户根据需求展开；
• 6）默认情况下，采用与AI输出相同的解释方式（除了触觉、音频），一种模态负载高时，选择另外一种；
• 7）视觉相关：内容以文字为主，如果是图片也应尽可能简化、让用户易于理解；
• 8）视觉相关：如主题场景相关可使用隐式提示，例如当你看书时提供推荐和浮动窗口；不相关则则使用显示提示，例如兑换框等。

Meta结合设计指南，开发了一些应用案例并在10名设计师中进行验证，结果设计师认为XAIR可为AR的XAI框架设计提供可用的综合参考或帮助，有助于激发设计师的思维和想象力。参与实验的12名最终用户也反馈，XAIR有出色的可用性。

应用案例

在这项研究中，Meta设计了两个演示案例，感兴趣可以来了解一下：

1）当用户在小路上慢跑时，AR眼镜考虑到当下的季节和风景，便为用户显示出附近的地图，建议绕道去附近的路赏樱花。AI可提供的解释包括：风景更好、路线长度合适、适合用户日程安排。解释形式包括文字、樱花图片等等。

2）AR用户在与邻居讨论园艺后回到家，这时AR眼镜会在周围的植物上显示一个“养护”提示，并为用户提供关于植物施肥的说明。这个建议需要用户手动触发，避免其认为AI侵犯隐私，手动触发可以较好的建立信任。此外，AI还可以提示：经过系统扫描，植物的叶子上有异常斑点，表明可能遭受真菌或细菌感染。解释形式除了文字外，也可以在叶子上用AR来标记异常点（文本为明显提示，AR提示则为隐秘式，与场景融合）。参考：Meta