|
|
点击是移动界面上最常用的手势，可用于触发从启动应用程序到输入文本等各种操作。虽然传统桌面图形用户界面中可点击元素（例如按钮）的样式通常是传统定义的，但在移动界面上，由于样式的多样性，人们仍然很难区分可点击元素和不可点击元素。这种混淆可能会导致错误的可供性（例如，可能被误认为是按钮的功能）和缺乏可发现性，从而导致用户沮丧、不确定和错误。为了避免这种情况，界面设计师可以进行研究或视觉可供性测试，以帮助澄清界面中项目的可点击性。然而，这样的研究很耗时，而且他们的研究结果往往局限于特定的应用程序或界面设计。在我们的CHI'19论文“使用众包和深度学习对移动界面可点击性进行建模”中，我们介绍了一种大规模建模移动界面
可用性的方法。我们众包了一项任务，研究一系列移动应用中的 UI 元素，以衡量用户感知到的可点击性。我们的模型预测与用户群体的一致性约为 90%，这表明机器学习模型可以有效地用于估计其设计中界面元素的可点击性，而无需进行昂贵且耗时的用户测试。
使用深度学习预测可点击性
设计师经常使用元素的颜色或深度等视觉属性来表示其在界面上的交互可用性，例如链接的蓝色和下划线。虽然这些常见的符号很有用，但在每种特定的设计设置中何时应用它们并不总是很清楚。此外，随着设计趋势的发展，传统符号也在不断改变和挑战，可能会导致用户的不确定性和错误。
为了了解用户如何看待这种不断变化的形势，我们分析了影响真实移动应用中可点击性的潜在符号——元素类型（例如复选框、文本框等）、位置、大小、颜色和文字。我们首先通过众包志愿者来标记来自约 3,500 个应用程序的约 20,000 个独特界面元素的感知可点击性。除了文本框之外，类型符号在用户感知的可点击性中产生的不确定性较低。位置符号是指功能在屏幕上的位置，并由移动应用程序中的常见布局设计告知
元素大小 的影响相对较弱，但确实表明在大型不可点击元素的情况下会产生混淆。用户倾向于使用鲜艳的颜色和较短的字数来表示可点击元素，尽管单词语义也起着重要作用。
我们使用这些标签来训练一个简单的深度神经网络，该网络可以预测用户将界面元素视为可点击还是不可点击的可能性。对于给定的界面元素，该模型使用一系列特征，包括元素在屏幕上的空间上下文（位置）、元素的语义和功能（单词和类型）以及视觉外观（大小以及原始像素）。神经网络模型应用卷积神经网络(CNN) 从原始像素中提取特征，并使用学习到的语义嵌入来表示文本内容和元素属性。然后将所有这些特征的连接输入到完全连接的网络层，该网络层的输出产生元素可点击性的二元分类。
模型评估
该模型使我们能够自动诊断用户感知到的每个界面元素的可点击性（由我们的模型预测）与开发人员或设计人员指定的元素的预期或实际可点击状态之间的不匹配。在下面的例子中，我们的模型预测用户认为“关注者”或“正在关注”等标签可点击的可能性为 73%，而这些界面元素实际上并未被编程为可点击。
为了了解我们的模型与人类用户相比的表现如何，特别是在人类感知存在模糊性的情况下，我们通过众包的方式在 290 名志愿者中生成了第二个独立数据集，这些志愿者根据感知的可点击性对 2,000 个独特界面元素中的每一个进行标记。每个元素由五个不同的用户独立标记。我们发现，样本中超过 40% 的元素被志愿者标记得不一致。
当用户对某个元素的可点击性达成一致时，我们的模型往往会给出更明确的答案——可点击的概率接近 1，不可点击的概率接近 0。当员工对某个元素的点击频率不太一致时（靠近 X 轴中间），我们的模型对决策的确定性也会降低。总体而言，我们的模型在识别可点击的 UI 元素方面达到了与人类感知相当的准确度，平均准确率为 90.2%，召回率为 87.0%。
预测可点击性只是我们可以利用机器学习解决用户界面可用性问题的一个例子。交互设计和用户体验研究中还存在许多其他挑战，深度学习模型可以提供一种工具来提炼大量多样化的用户体验数据集，并增进对交互行为的科学理解。
致谢
本研究是 Google 暑期实习生 Amanda Swangson 和深度学习与人机交互研究科学家 Yang Li 的合作成果。
|
|
发表于 2024-11-21 19:16:25