Magics AI: Digital Human Rendering & AIGC

在迈吉客科技担任图像算法 Leader 期间的工作总结，涵盖 AI 能力封装、数字人渲染、3D 资产生成工具链和 AIGC 项目研发。

项目时间：2021.03 - 2024.01
公司：迈吉客科技（北京）有限公司（官网）
角色：图像算法 Leader

工作概述

在迈吉客科技，我带领专业引擎开发组（Unity / WebGL），负责将 AI 算法能力与实时渲染引擎深度结合，打造数字人产品。工作范围涵盖算法工程化、跨平台集成、AIGC 研发和工具链建设。

一、AI 能力工程化封装

OCR 引擎跨平台封装

• 将 PaddleOCR 通过 CMake 编译封装为动态链接库（DLL），集成到 Unity 引擎中，为应用提供实时文字识别能力
• 同时将 OCR 服务封装为 Docker 容器，提供 RESTful API，支持云端批量识别
• 实现了同一算法在端侧（Unity DLL）和云端（Docker API）的双形态部署

二、数字人渲染与功能开发

带领 Unity/WebGL 引擎开发组完成：

• 数字人实时渲染效果优化（材质、光照、表情驱动）
• 基于 WebGL 的网页端数字人渲染，支持浏览器内直接交互
• 新功能开发与产品迭代，与产品、设计团队紧密协作

三、AI 驱动的 3D 资产生产工具

为提升 3D 内容生产效率，对接设计师团队开发了一系列 AI 辅助工具：

• Cascadeur (CC) 动作生成：利用 AI 辅助关键帧动画制作，大幅提升动画生产效率
• Blender 自动化脚本：编写 Python 脚本实现 3D 模型批处理、LOD 生成、材质批量赋值等工作流
• 将工具链集成到设计师的日常管线中，减少重复性手工操作

四、AIGC 项目研发

Stable Diffusion 集成

• 部署 Stable Diffusion 到 Docker 容器，通过 API 提供文本生成图片/视频能力
• 将 SD 与 LangChain / LLM 结合，实现智能化的 AIGC 内容生成管线
• 探索声音生成口型（Audio-Driven Facial Animation）技术

Wav2Lip 数字人

• 在迈吉客期间即开始 Wav2Lip 数字人模型的开发与部署工作
• 积累了从模型训练到服务端部署的完整经验，为后续在爱是未来的产品化工作奠定基础

相关材料

• 公司官网：https://www.appmagics.com/#/intelligent
• 项目进展 PPT：Magics近期进展230329.pptx