卡内基梅隆大学机器人研究所 (RI) 的研究人员开发出一种可以与人类互动绘画的机器人系统。协作式 FRIDA (CoFRIDA)可以与任何艺术能力的用户合作，邀请合作在现实世界中创作艺术。
“这就像写作提示的绘画版本，”管理 RI 纺织实验室的 RI 副教授 Jim McCann 说道。“如果你遇到困难，不知道该怎么做，它可以帮你写点东西。它可以打破空白页的障碍。这是增强人类创造力的一种非常有趣的方式。”
CoFRIDA 建立在过去与计算机科学学院的多实验室合作项目 FRIDA 的基础之上。
FRIDA（艺术发展框架和机器人计划）以艺术家弗里达·卡罗的名字命名，可以使用画笔或 Sharpie 根据人类用户的文本提示或图像示例创作绘画。该项目由 RI 副研究教授兼 Bot Intelligence Group (BIG) 负责人 Jean Oh 与 McCann 和博士生 Peter Schaldenbrand 共同创立。
为了支持更具协作性的艺术创作体验，RI 博士生 Gaurav Parmar 和助理教授 Jun-Yan Zhu 加入了 FRIDA 团队，共同开发了 CoFRIDA。新系统允许用户提供文本输入来描述他们想要画什么。他们还可以参与创作过程，轮流用机器人直接在画布上绘画，直到他们实现了自己的艺术构想。
Oh 表示：“CoFRIDA 需要比原始 FRIDA 更高水平的智能，原始 FRIDA 需要独自从头到尾创作一件艺术品。共同绘画类似于与另一个人一起工作，需要不断猜测他们想要什么。CoFRIDA 必须理解人类用户的高级目标，以使该用户的笔触对目标有意义。”
协同喷漆本质上是一种协作，而开发训练机器人协作的数据既困难又耗时。为了解决这一难题，CoFRIDA 使用基于 FRIDA 笔触模拟器和规划器的自监督训练数据。
研究人员通过让 FRIDA 模拟由一系列笔触组成的绘画来创建自我监督的微调数据集，从中可以删除一些笔触以生成部分绘画的样本。
团队必须确定如何从训练数据中的图画中删除元素，同时保留足够的图像以供 CoFRIDA 识别。例如，研究人员删除了车轮边缘或汽车窗户等细节，但保留了车辆的轮廓。
“我们试图模拟绘画过程的不同阶段，”朱说。“很容易得到最终的草图，但很难想象这个过程的中间阶段。”
研究人员利用部分和完整绘画的数据集，对文本到图像模型InstructPix2Pix进行了微调，使 CoFRIDA 能够添加笔触并处理画布上的现有内容。这种方法依赖于使用 CoFRIDA 的画笔模拟器创建的数据，这意味着生成绘画时会考虑到机器人的实际限制，例如其有限的工具集。
在实验室之外，研究人员希望 CoFRIDA 能够教会人们机器人技术并拓展创造力，鼓励那些可能怀疑自己艺术能力的人。CoFRIDA 还可以帮助用户将设想变为现实，或将艺术作品推向全新的方向。
“如果你从一张非常简单的草图开始，CoFRIDA 会将艺术作品带向截然不同的方向。如果你要求六张不同的画作，你会得到六种截然不同的选择，”Schaldenbrand 说。
“能够做出高层决策真是太好了，因为这让我感觉自己像个艺术总监。机器人会做出一些底层决策，比如把标记放在哪里，但我可以决定整体效果。我仍然觉得自己可以掌控创作过程，在这个艺术家担心被人工智能取代的世界里，CoFRIDA 作为旨在支持人类创造力的机器人的典范具有极其重要的意义。”
研究人员希望进一步的研究能够将个性化融入到 CoFRIDA 中，让用户更好地控制成品的风格。
该团队的论文《CoFRIDA：人机协同绘画的自监督微调》在日本横滨举行的 2024 年 IEEE 国际机器人与自动化会议 (ICRA) 上获得了人机交互最佳论文奖。随附的 CoFRIDA 演示入围了 ICRA EXPO 最佳演示奖。该论文可在arXiv预印本服务器上找到。
本站全部资讯来源于实验室原创、合作机构投稿及网友汇集投稿，仅代表个人观点，不作为任何依据，转载联系作者并注明出处：https://www.lvsky.net/360.html
评论