阿里提出文生卡通新方法Textoon：一分钟内生成丰富多彩、可交互的Live2D格式角色

kwpAihTu553

阿里提出了一种基于文本描述生成多样化2D卡通角色的新方法Textoon， Textoon利用先进的语言和视觉模型，能够在短短一分钟内生成丰富多彩、可交互的Live2D格式角色。这种方法不仅提高了生成效率，还降低了对计算资源的需求，使得2D卡通角色的创作更加便捷和高效。
Textoon：根据文本描述生成生动的 2D 卡通人物
相关链接

• 论文：http://arxiv.org/abs/2501.10020v1
  
• 主页：https://human3daigc.github.io/Textoon_webpage/
  
• 视频：https://youtu.be/cA0yNZwyGTo
  

论文介绍

2D 卡通风格是数字角色创作中一种重要的艺术形式，尤其受到年轻观众的欢迎。虽然数字人技术的进步促进了对逼真的数字人和 3D 角色的广泛研究，但交互式 2D 卡通角色受到的关注相对较少。与需要复杂构造和资源密集型渲染的 3D 卡通角色不同，广泛使用的 2D 卡通角色格式 Live2D 提供了一种更高效的替代方案，它允许以模拟 3D 运动的方式为 2D 角色制作动画，而无需构建完整的 3D 模型。此外，Live2D 采用轻量级 HTML5 (H5) 渲染，提高了可访问性和效率。
论文提出的Textoon是一种基于文本描述以 Live2D 格式生成各种 2D 卡通角色的创新方法。Textoon 利用尖端的语言和视觉模型来理解文本意图并生成 2D 外观，能够在一分钟内创建各种令人惊叹且具有交互性的 2D 角色。
方法


Textoon 概述。该框架利用经过微调的 LLM 从用户输入的文本中准确提取组件描述词，使用相应的组件控制 2D 动画角色的外观生成。它允许用户重新编辑细节，并使用组件将生成的图像提取并补全为 Live2D 模型纹理。生成的 Live2D 模型多样且与原始动画兼容。

不同层的网格

拆分模型组件，可以利用较大的元素来创建短的变体 使用经过微调的 LLM 解析复杂输入文本中的组件类别
结果


模板模型中各个组件的划分

支持 ARKit 口型同步驾驶的 Live2D 模型
生成的Live2D模型整体动画效果
创建的 Live2D 卡通人物示例及其相应的文本提示
结论

Textoon是第一种从文本描述生成各种 Live2D 卡通人物的方法。通过利用尖端的语言和视觉模型，Textoon 可以在不到一分钟的时间内快速创建各种令人惊叹且具有交互性的 2D 人物。还集成了与 ARKit 兼容的面部混合形状，增强了嘴部运动以实现更具表现力的交互，从而可以与用户进行生动的对话。生成的 live2D 卡通人物可以使用 HTML5 无缝渲染，提供广泛的应用可能性。