虚拟管家：从自适应用户界面中能学到什么？

虚拟旅游，用户可以在家中“游览”世界各地 #生活知识# #科技生活# #虚拟现实技术#

目录

虚拟管家：从自适应用户界面中能学到什么？ 1 引言 2 混合主动界面的原则 3 UAI 的发展现状 4 从原因和影响的角度对用户情感进行建模 4.1 情感建模框架 4.2 使用该框架进行用户情感建模 4.3 将框架用于社交智能虚拟管家 5 透明度与信任问题 5.1 透明度的重要性 5.2 提高透明度的方法 5.3 信任的建立 6 总结与展望 6.1 主要成果总结 6.2 面临的挑战 6.3 未来的研究方向

虚拟管家：从自适应用户界面中能学到什么？

1 引言

用户自适应界面（UAI）是一个跨学科领域，它融合了人工智能（AI）、人机交互（HCI）和认知科学的研究成果，旨在创建能够自主且智能地适应个体用户需求的用户界面。为了实现有意义的自适应，需要构建一个与交互适配相关的用户特征模型，即用户模型。这些特征可能包括简单的性能指标（如界面操作频率）、特定领域的认知特征（如知识和目标）、跨任务和领域的元认知过程（如推理和学习技能）以及情感状态（如情绪和心情）。

UAI 领域与智能家庭助手或虚拟管家的研究有很多共同之处。接下来将探讨如何将 UAI 研究的理念应用于虚拟管家的开发和部署，介绍一些最初为实现与 UAI 成功的混合主动交互而提出的原则，讨论一种特定的用户建模方式，即从原因和影响的角度对用户的情感状态进行建模，这有助于虚拟管家与用户建立长期、舒适的关系。最后，还会探讨一个对于那些对用户日常生活有重大影响的技术的接受度至关重要的问题，特别是对于可能不太适应高科技解决方案的老年用户来说，这就是透明度/信任问题，即用户为了信任智能助手的服务，需要/希望在多大程度上理解其行为背后的原理。

2 混合主动界面的原则

20 世纪 90 年代末，微软研究基于微软 Office 办公助手的部署经验，提出了用于桌面辅助的虚拟管家的概念。在一篇开创性的论文中阐述了这种新型桌面辅助设计的原则，其核心观点是自适应交互应该是混合主动的，即用户和自适应组件协作以实现服务的最优个性化。以下是认为对家庭虚拟管家的成功开发至关重要的部分原则：

开发显著增值的自动化服务：由于自动化服务可能存在缺乏透明度和可靠性的问题，因此应仅用于支持那些无法通过更简单解决方案得到适当帮助的任务。例如，与玻璃清洁机器人相比，自清洁玻璃就是一个更简单的解决方案。 考虑用户需求的不确定性：主动提供自动化服务通常需要了解用户的目标、信念和偏好。在像家庭这样相对不受约束的环境中，用户可以参与许多不同且可能无关的活动，评估这些元素必然存在不确定性。应该使用正式的概率技术来明确考虑这种不确定性，而不是使用理论基础不太完善的临时启发式方法。 通过对话解决关键不确定性：虚拟管家减少对用户需求评估不确定性的一种方法是直接询问用户。虽然这是一个应该始终考虑的选项，但决定是否与用户进行对话时，需要考虑到不必要打扰用户的潜在成本。 决策时考虑每个可能行动的成本和收益：上述原则 3 是一个更普遍原则的实例，即在决定代理如何行动时，需要权衡每个可能行动方案的潜在成本和收益，因为代理对用户的评估存在不确定性。例如，如果代理不确定用户现在对某项特定服务的需求程度，它应该评估中断用户提供服务的成本和收益、将行动推迟到干扰较小的时间的成本和收益，以及询问用户以获取更多信息以帮助决策的成本和收益。同样，对行动潜在成本和收益的考虑应该帮助代理调整服务的精度，以匹配用户目标的不确定性。也就是说，在不确定的情况下，少做但做对可能比提供可能不需要的更具体的帮助更有用。 允许高效的直接调用和终止：为用户提供直接调用或终止自动化服务的有效手段至关重要，这样可以弥补代理的错误决策。 采用适合社交的行为进行代理 - 用户交互：代理应具备符合仁慈助手社会期望的默认行为和礼貌。在相关场景中，这些期望是老年用户对虚拟管家的期望。 持续改进：可以通过两种不同的策略实现这一能力。第一种是让代理具备通过观察学习的能力，而无需从用户那里获取额外的明确信息。第二种是提供机制，允许用户提供明确的反馈以帮助系统学习，例如完善或细化代理的推理和行为的机制。

3 UAI 的发展现状

自适应技术已在多种类型的应用中得到研究，包括推荐系统、智能辅导系统、电子游戏和电子旅游等。混合主动方法也取得了令人鼓舞的进展，但大多数现有系统往往是特定于任务和/或领域的。例如：

TRIPS 系统：用于混合主动问题解决。 DiamondHelp 系统：用于任务指导的混合主动系统。 MapGen 系统：用于混合主动规划，在火星探测车任务的地面操作中提供帮助。 Support the Customer (STC) 系统：为通用电气（GE）客户提供电器故障诊断支持。

到目前为止，最接近通用混合主动智能助手概念的是由美国国防高级研究计划局（DARPA）赞助的 CALO 项目（学习和组织认知助手）。该项目涉及美国的 30 多个机构，目标是创建认知软件系统，通过以下方式减轻知识工作者的负担：一是参与并主导日常任务（如日程安排、任务执行、会议管理、信息管理），二是在意外情况发生时提供帮助。正如该项目官方网站所述，“CALO 应该能够进行推理、从经验中学习、接受指令、解释正在做的事情、反思经验并对意外情况做出有力回应”。这些能力也是家庭助手可能需要的，CALO 项目在必要的机器学习方面取得了重大进展。

然而，尽管在自适应和混合主动系统方面进行了多年的研究并投入了大量资源，但距离通用智能助手仍有很大差距。原因在于任何形式的虚拟管家都是“AI 完全问题”，即它需要应对所有传统的 AI 挑战（知识表示、推理、规划、问题解决、自然语言处理），并且还需要在多个不同的任务领域中应对这些挑战，并与用户进行适当的交互。接下来将重点关注与用户交互的问题，特别是认为对老年用户与虚拟管家之间的顺利交互尤为相关的两个问题：一是使虚拟管家能够对用户的情感状态进行建模并做出响应；二是使用户能够理解虚拟管家干预背后的原因。

4 从原因和影响的角度对用户情感进行建模

虚拟管家应该了解用户的哪些方面呢？当然包括他们的目标、偏好和信念（这已经很具挑战性了），如果希望虚拟管家能够与用户建立长期、平衡和舒适的关系，还需要了解他们的情绪和心情（即情感）。

近年来，越来越多的研究致力于将情感组件添加到人机交互中，假设“情感敏感界面”可以通过在人与计算机之间创建更自然的对话来更好地满足用户的需求。这一努力的一个关键要素是计算机在交互过程中识别用户情绪状态的能力，即拥有一个用户情感模型。评估用户情绪的可能信息来源包括关于情境和个人相关特征的因果信息，以及关于可见身体反应的诊断信息。然而，这些来源提供的信息往往模糊甚至相互矛盾，使得情绪评估成为一项充满不确定性的任务，特别是在可能引发多种情绪、情绪可能重叠且快速变化的情况下，例如在一场充满情感的对话中。

为了处理这种不确定性，提出了一种基于动态决策网络（DDN）的概率框架，用于对用户情感进行建模，该框架利用了用户情感反应的可能原因和可观察到的影响的信息。大多数现有的用户情感建模研究都集中在设计能够捕捉用户在特定交互过程中所处情感状态的模型，而我们的方法旨在同时提供关于用户处于特定情感状态的原因的见解，从而使交互代理能够更好地对用户的情感反应做出适当的响应。

4.1 情感建模框架

动态决策网络（DDN）是一种图，其中节点表示感兴趣的随机变量或代理需要做出决策的点。图中的弧线捕捉了节点之间的直接概率关系。每个节点都有一个相关的概率分布，表示在给定其父节点值的情况下，其每个可能值的条件概率。当关于一个或多个网络变量的证据可用时，特定的算法会根据观察到的值更新所有其他变量的后验概率。

下图展示了基于 DDN 的情感建模框架的两个时间片的高层表示。每个时间片表示模型在特定时间点的变量，如图所示，该网络可以结合情感反应的原因和影响的证据来评估用户的情绪状态。“情绪状态”节点上方的子网络是框架的预测组件，它表示了可能的原因和情绪状态之间的关系，这是根据 OCC 认知情绪理论描述的。根据该理论，情绪源于对当前情况的认知评估，包括事件、代理和对象。评估的结果取决于情况与个人目标和偏好的匹配程度。例如，根据当前事件（如界面代理行动的结果）是否符合个人目标，个人会对该事件感到喜悦或痛苦。相应地，如果当前事件是由第三方代理引起的，个人会对该代理感到钦佩或责备；如果代理是自己，个人会感到自豪或羞耻。基于这种结构，OCC 理论定义了 22 种不同的情绪，并根据其效价和相关实体进行了描述。

Interaction Goals

Emotional States

User Action

User Action Outcome

Goals Satisfied

Agent Action

Agent Action Outcome

User Traits

Goals

Interaction Patterns

Bodily Expressions

Sensors

Emotional States ti

Emotional States ti+1

采用 OCC 情绪理论而不是其他根据效价和唤醒水平定义情绪的模型，是因为它对情绪反应的因果性质的清晰直观表示，有助于设计能够评估用户为何处于特定情绪状态以及这些情绪是什么的计算模型。这种更细致的信息增强了交互代理对用户情感做出适当响应的能力。例如，如果代理能够识别出用户因为自己做错了事而感到负面情绪（根据 OCC 定义为羞耻），它可以决定提供一些提示，让用户感觉更好。如果代理认识到负面情绪是由自己的行为引起的（根据 OCC 定义为责备），它可能会采取行动来弥补用户。而那些在没有明确了解情绪原因的情况下检测情绪的方法则无法实现这些特定的干预。

基于 OCC 的用于用户情感建模的 DDN 包括用户在与自主代理交互过程中可能具有的目标变量（图中的“目标”节点）。用户评估的事件是由用户或代理的行动产生的任何结果（图中的“用户行动结果”和“代理行动结果”节点）。代理行动结果在框架中表示为决策变量，指示代理决定如何干预交互的点。事件相对于用户目标的可取性由“目标满足”节点类表示，它反过来又影响用户的“情绪状态”（从现在起将这部分模型称为评估子网络）。

用户的目标是 OCC 模型的关键要素，但评估这些目标并非易事，特别是当直接从用户那里获取这些目标可能过于侵扰时。因此，DDN 还包括从间接证据推断用户目标的节点（目标评估子网络）。用户目标可能取决于用户特征，如个性，并可能影响用户的交互模式，而交互模式又可以通过观察用户的个体行动结果来推断。因此，相关的用户特征和行动结果都可以在 DDN 中用作评估用户目标的证据。“情绪状态”节点下方的子网络是情感建模框架的诊断部分，代表了情绪状态与其可观察到的影响之间的相互作用。情绪状态直接影响用户的身体表达，而身体表达又会影响能够检测到它们的传感器的输出。由于在许多情况下，单个传感器无法可靠地识别特定的情绪状态，因此框架设计为可以模块化地组合任何可用的传感器信息，并在信息部分缺失或有噪声的情况下能够优雅地降级。

4.2 使用该框架进行用户情感建模

将上述建模框架应用于与 PrimeClimb 教育游戏的交互中，该游戏旨在帮助学生练习数字分解。游戏中包含一个教学代理，当学生似乎没有从游戏中学习时，它可以提供个性化的支持。因此，情感模型旨在捕捉玩家在游戏中的表现所产生的感受（在 OCC 理论中标记为自豪/羞耻）以及代理干预所产生的感受（在 OCC 理论中标记为钦佩/责备），还能捕捉用户对游戏状态的情绪（在 OCC 模型中标记为喜悦/遗憾）。

在构建情感模型时采用了迭代设计和评估方法，首先实例化并评估了建模框架的预测部分。创建预测部分的模型需要进行多项用户研究，以确定游戏过程中常见的用户目标、学生个性特征、目标和交互模式之间的概率关系，从而定义目标评估网络，并确定各种学生和代理行动的结果满足每个可能目标的概率，以用于评估网络。然后，尝试在模型中添加一个诊断组件，使用放置在用户前额的肌电图（EMG）传感器来检测皱眉作为负面情绪的迹象。初步结果表明，使用该模型对用户对代理的情绪建模的准确率可达 73%。

4.3 将框架用于社交智能虚拟管家

上述情感建模方法的主要优点包括：

提供细致的响应信息：通过明确对情感原因进行建模，为代理提供了关于如何应对情感的细致信息。 灵活利用信息来源：能够灵活利用可用的情感信息来源，在有可用数据时同时利用原因和影响的数据，并且在任何潜在信息来源不可用或不可靠时仍能优雅地降级。如果在模型中添加明确表示情感反应较低维度（即效价和唤醒）的目标，这种灵活性会得到增强。这些维度通常比特定情绪更容易评估，因此在对用户特定情绪存在高度不确定性的情况下，系统有机会“少做但做得更准确”，正如前面提到的混合主动原则 3 所建议的那样。 支持决策理论方法：该框架非常适合被一个在决定如何行动时同时考虑其行动成本和收益的代理使用。动态决策网络专门用于支持代理行为的决策理论方法。在决策理论模型中，代理行为的成本和收益表示为对世界状态 S 的偏好（例如，对于情感敏感的代理，用户的可能情感状态）。这些偏好通过效用函数 U(S) 进行编码，该函数为每个状态 S 分配一个单一的数字来表示其可取性。此外，对于代理可用的每个行动 a 以及该行动的每个可能结果状态 S’，P(S’|E, a) 表示当在由证据 E 确定的状态下执行该行动时，行动 a 将导致状态 S’ 的代理信念。然后，行动 a 的预期效用计算如下： [EU(A) = \sum_{S’} P(S’|E, a)U(S’)] 决策理论代理在决定如何行动时选择使该值最大化的行动。DDN 通过包含表示代理效用的节点，以及表示世界中的概率事件和代理决策点的节点，允许对决策理论行为进行建模。通过依赖贝叶斯网络的传播算法，DDN 允许根据关于当前世界状态的可用证据计算具有最大预期效用的代理行动（或行动序列）。

然而，该方法也存在一个潜在的缺点，即需要对用户的目标和偏好进行详细建模，以及了解用户如何根据这些目标和偏好评估周围环境中的不同情况。为了准确地进行这种建模，每个新用户都需要大量的实证数据，但由于虚拟管家无论是否包含情感组件都需要了解用户的目标和偏好，因此这一成本有所降低。剩下的问题是建模用户评估标准的成本，以及需要了解这一成本与系统情感响应质量提升之间的比较。

此外，为了设计出具有情感智能的虚拟管家，还需要研究两个与方法无关的问题：

确定要捕捉的情绪：需要评估建模每种额外情绪的成本与虚拟管家在实用性/接受度/影响力方面所能获得的价值。例如，OCC 模型涵盖了 22 种不同的情绪，包括与对实体某些方面的感受相关的情绪（喜欢、不喜欢、爱、恨）以及根据事件对他人的有用性（为他人高兴、怨恨、幸灾乐祸、怜悯）或对自己的预期后果（希望、恐惧）评估事件的情绪。虽然大多数用户可能在某个时候会遇到这些情绪中的每一种，但需要评估哪些情绪足够突出，值得关注，以及其中哪些可以/应该成为虚拟管家关注的问题。例如，对像幸灾乐祸这样道德上负面但具有正效价的情绪进行建模的唯一原因可能是试图阻止它，但这对于老年用户的虚拟管家来说可能不是主要任务。 确定对情绪的响应方式：一旦确定了虚拟管家应该识别的情感状态，问题就变成了这些情感状态应该如何影响管家的行为。情感信息可以在至少两个层面上纳入代理的操作中： 情感导向层面：代理对用户的情感状态做出响应，直接影响用户的情感状态。例如，可以设想一个虚拟管家能够检测到用户的负面情感状态，并采取具体行动帮助用户克服这些负面情绪。 任务导向层面：情感信息被视为代理在决定如何最好地完成给定任务时必须考虑的因素之一。例如，假设虚拟管家需要告知用户她的朋友取消了第二天晚上去看电影的计划，并且代理可以选择立即告知或推迟到当天晚些时候。虽然立即告知用户可以让她有更多时间做出替代安排，但如果代理检测到用户已经处于负面状态，特别是如果它认为这种负面状态是由孤独感引起的，它可能会决定推迟该行动。

这两个层面都需要进行广泛的研究，以确定代理的行动对老年用户情感的影响。这些研究可以利用情感心理学中现有的情感干预理论以及关于情感响应型人工智能代理效果的现有知识。

5 透明度与信任问题

对于旨在对用户日常生活产生重大影响的技术，尤其是对于可能不太适应高科技解决方案的老年用户来说，透明度和信任是至关重要的问题。用户需要在多大程度上理解智能助手行为背后的原理，才能信任其服务呢？

5.1 透明度的重要性

虚拟管家的行为和决策应该是可解释的，这样用户才能理解其干预的原因。如果用户不明白为什么虚拟管家会采取某种行动，他们可能会对其产生不信任感，甚至拒绝使用该服务。例如，当虚拟管家突然提醒用户做某件事情，但没有说明原因时，用户可能会觉得这种干预是不必要的，从而对管家的可靠性产生怀疑。

5.2 提高透明度的方法

为了提高虚拟管家的透明度，可以采取以下几种方法：

提供解释：在虚拟管家采取行动时，向用户提供清晰的解释，说明为什么要这样做。例如，当提醒用户吃药时，可以告知用户这是因为医生的建议或者根据用户的健康记录得出的结论。 展示推理过程：如果可能的话，向用户展示虚拟管家的推理过程，让他们了解决策是如何做出的。可以通过可视化的方式，将决策过程以图表或流程图的形式呈现给用户。 允许用户查询：为用户提供查询功能，让他们可以随时了解虚拟管家的决策依据。用户可以通过提问的方式，获取关于特定行动的详细信息。

5.3 信任的建立

透明度是建立信任的基础，但还需要其他因素的支持。虚拟管家应该始终以用户的利益为出发点，提供可靠、准确的服务。同时，要尊重用户的隐私和个人偏好，避免过度干预用户的生活。通过长期的良好表现，逐渐赢得用户的信任。

6 总结与展望

6.1 主要成果总结

本文探讨了如何将用户自适应界面（UAI）的理念应用于虚拟管家的开发和部署。提出了混合主动界面的原则，包括开发增值自动化服务、考虑用户需求的不确定性、通过对话解决关键不确定性等。从原因和影响的角度对用户情感进行建模，介绍了基于动态决策网络（DDN）的情感建模框架，并展示了该框架在用户情感建模和社交智能虚拟管家方面的应用。还讨论了透明度和信任问题，强调了提高虚拟管家透明度对于建立用户信任的重要性。

6.2 面临的挑战

尽管在虚拟管家的研究方面取得了一些进展，但仍然面临着许多挑战。例如，对用户目标和偏好的建模需要大量的实证数据，这在实际应用中可能会受到限制。此外，如何确定虚拟管家应该关注的情感以及如何对这些情感做出响应，还需要进一步的研究。

6.3 未来的研究方向

未来的研究可以从以下几个方面展开：

优化情感建模框架：进一步改进基于 DDN 的情感建模框架，提高其准确性和可靠性。可以结合更多的数据源，如语音、面部表情等，来更全面地评估用户的情感状态。 加强用户与虚拟管家的交互：研究如何设计更加自然、友好的交互方式，让用户能够更轻松地与虚拟管家进行沟通。可以引入多模态交互技术，如语音、手势等，提高交互的效率和便捷性。 拓展虚拟管家的应用场景：除了家庭场景，还可以将虚拟管家应用于其他领域，如医疗、教育等。在不同的应用场景中，需要根据用户的需求和特点，对虚拟管家进行定制化开发。

以下是一个简单的表格，总结了虚拟管家开发中的关键要点：

要点 描述 混合主动界面原则 开发增值自动化服务、考虑用户需求不确定性等 情感建模框架 基于 DDN，采用 OCC 理论，结合原因和影响信息 透明度与信任 提供解释、展示推理过程、允许用户查询，以建立信任 未来研究方向 优化情感建模、加强交互、拓展应用场景

混合主动界面原则

虚拟管家开发

情感建模框架

透明度与信任

未来研究方向

通过不断的研究和改进，虚拟管家有望成为人们生活中的得力助手，为用户提供更加智能、便捷、个性化的服务。特别是对于老年用户来说，虚拟管家可以在日常生活中给予他们更多的关怀和支持，提高他们的生活质量。

网址：虚拟管家：从自适应用户界面中能学到什么？ https://www.yuejiaxmz.com/news/view/1417576

相关内容

虚拟桌面有什么用，如何使用 Windows 11 虚拟桌面
b站2233虚拟管家有什么功能 b站2233虚拟管家功能介绍
小管家虚拟桌面 小管家虚拟桌面最新下载
什么是智能虚拟助理(IVA)？智能虚拟助理的优势和用例
什么是虚拟助手，它的应用有哪些
手机桌面虚拟管家少女下载
b站2233虚拟管家是什么 b站2233虚拟管家介绍
路由器的虚拟服务器有什么用吗，路由器虚拟服务器，网络空间中的虚拟管家，你的个性化网络助手
虚拟助手在健康管理中的应用
从“虚拟助理”到企业家，从5美金/小时到50美金/小时，从跑腿到真正的事业

随便看看