2021毕设故事 | 马腾飞：FaceType

Kevin Maher 马腾飞

视觉传达设计系硕士

FaceType 作为一个书写工具，它不仅仅能记录千言万语，还能够传情达意。我从中国书法中获取灵感，利用情绪识别、语音识别等技术，让稍纵即逝的微妙情绪转化为鲜活的笔迹：见字如面。

问题的缘起：

作者在一个线上演讲中

很多中国朋友跟我说：我说话时有点夸张。这使我不禁思考，这是我的个人原因，还是因为我是个美国人呢? 换而言之，不同的表达是源于个体差异还是跨文化的原因？

早期作品

我开始收集了大量演讲，我和我在中国科学院软件所的同事们分享我的想法，很快，他们开始支持这个项目。我们一起处理了200多篇演讲，研究了不同文化间情感的差异。更重要的是，它引导我们探索了展示语言和与语言互动的新方式。

关于在交流中情感转换的探索（专利在申请中）

这项工作使我更好地理解了言语中诸如情感等因素的重要性。它也转化为学术成果：被IEEE VIS（数据可视化顶级的论坛） 接收；在TVCG即将被发表（数据可视化顶级的期刊）（作者是共同第一作者）；两个专利（申请中）。

允许用户探索演讲比赛和的关键演讲因素的界面（E-ffective）**

但是通过用户实验, 我们发现普通的用户在第一次使用时需要引导。在我导师的鼓励下，我探索了在交流中，更加自然易懂的言语展示和互动方面的更多可能性。

我运用了机器学习可视化，记录7 分钟演讲中，自己眼睛所处的位置

俗话说“眼睛是心灵的窗户”，所以在交流中，眼睛不同的表现可能可以让我们发现我们交流中的差异。以上的实验能看出一些我在演讲中的眼睛的表象：其中，左上角的眼睛向上看表示的是我忘词时候的眼神，最右边的眼睛都显现出恐惧的情绪。

对观众情绪的实时采样

早期的一个交互实验是在现场与观众进行的。实验中一个很大的挑战是当观众看到他们的照片即将被展示时，有一些人会在意他们在摄影机前的样子并影响他们的交互。

在这些探索之后，我继续寻找更自然、直观的展现和交流互动的方式。

FaceType

对作者来说，一个重要的问题是，我们所说的内容如何与我们的表达方式联系起来。言语内容如何更直观地表现为文字本身?

颜真卿《祭侄文稿》

今年春天，我去成都旅行的时候，与成都设计师罗全生分享了我的早期成果，他建议我学习更多中国书法知识，并且研究中国书法如何表达情绪。例如，上图是颜真卿的书法作品，为哀悼他侄子而作，他的书写变化宛如一种无声的倾述，通过字形、字迹、浓淡、间距等等因素淋漓尽致地显现了他的情绪状态——几近失控。虽然喜爱书法的人认为这是不言而喻的事情，基于大量的文献调研，我发现普遍流行的文本可视化领域并没有意识到书法艺术的价值。

早期实验中通过笔触传达语言情感

我与书法专业的王姝同学合作，建立了一个墨水效果的材料库，根据墨水的粗细和顺滑度与情绪值建立映射关系。

书写过程表达情绪

除了情感之外，书法也可以呈现出言语表达的重点。在书法形式的进一步应用拓展中，停顿和语速都可以通过字体大小、间距和生成字体的字形来体现。

长时间的用户测试

真实用户的语音可视化展现了他们的表达模式，包括他们的说话速度、停顿、情感强度，以及说话的积极性或消极性，生成出来的作品类似于书法的形式，只是这个由电脑创作，而不是人。当我开始构思创造一个互动的物理装置时，我想知道如何才能用更为自然的互动机制使人们的说话风格重现，并让他们有思考他们自己说话风格的空间。

2021届毕业作品展（线下展览）

我的导师建议我在作品前只放一个麦克风，这样可以让人们自然而然地互动而不需要多加引导。在该作品展览于清华大学美术学院毕业展览期间，我对现场观众进行了访谈和观察。总体来说，有接近一半的观众愿意主动与作品进行互动。

“情感强烈”的用户对FaceType系统的实际使用

在展览的现场，校友李曼园的演唱被我的作品转化成了一幅书法作品。我的作品绘制出的书法，恰好反映了她的情绪：沉稳，其中某些字词又是那么用心。

我曾经尝试不同的装置形式进行实验，用户们的情绪、耐心和建议都极具启发性

在毕业创作期间，长期、多次的用户测试与观察帮助我反复迭代更新设计作品。最终的成果让我认识到， 虽然人们都普遍认同人类言语中所隐藏的感性信息价值——千言万语之中无法言语的感性信息，人工智能技术也已经可以帮助我们侦测到大量的情绪状态， 但是这些技术如何帮助我们实现丰富的、感性的表达，是视觉设计正在面向的广阔未来。

在未来的展览中，我计划加强作品的沉浸感，使其反馈更灵敏，且更富有表现力。

目前，我正在与中科院软件所合作，采集来源于（1000+）不同国家的人群，分析了解各类群体的讲话风格。我们希望在未来向公众开放类似的数据库，通过自然的互动和呈现，揭示出不同语言中所蕴含的文化独特性。

致谢

衷心感谢导师向帆副教授的指导，研究生支良同学的帮助。在她们的支持下，我的论文获得了清华大学优秀硕士学位论文，并被清华大学美术学院收藏；在技术支持方面，在此感谢中国科学院软件研究所，人机交互技术与智能信息处理实验室的同事马翠霞，黄泽远，和宋建成；感谢谷歌设计师Leon Kim的生成字体的公开代码。

我会思念美院大楼的这个角落、以及可爱的测试者、建议者。

注:

* Brath R, Banissi E, Using Typography to Expand the Design Space of Data Visualization [J/OL], She Ji: The Journal of Design, Economics, and Innovation, 2016, 2(1): 59-87.

**展示的演讲者Sherrie Su是World Champion of Public Speaking2018年世界亚军

资料提供 | 马腾飞

视觉设计| 马腾飞

图文编辑 | 罗雪辉 冯佳琪