声音克隆与图像生成：AI驱动的CD专辑定制
项目概述
在2023年七夕前夕，我独立设计并完成了一个运用人工智能技术制作的个性化CD专辑的项目，作为送给朋友的特别礼物。
项目大致可以分成声音合成与视觉设计两个核心部分。在声音合成上，我利用开源的so-vits-svc项目，独立完成了从音频素材收集、预处理、模型训练到最终推理的完整流程。最终成功实现以假乱真的"翻唱"效果，就连朋友的其他朋友们都听不出来是由AI代唱的。朋友也十分满意。
视觉设计方面，我使用Stable Diffusion基于朋友的照片，训练了一个LoRA模型，通过精确裁剪和精细的提示词设计，最后生成了高质量且形象准确的个性化图像。并以这些为素材编排、设计了整个CD专辑（包括封面、封底、内封、内底），整体达到商业设计水准。
技术栈与工具
音频处理技术
- SVC
so-vits-svc
强大的开源语音合成工具，通过深度学习实现声音转换和克隆。用于训练个人声音模型，转换歌声风格。
- UVR
Ultimate Vocal Remover
AI驱动的伴奏分离工具，能够从混音中分离人声和乐器。用于准备训练素材和制作纯伴奏。
- RX
iZotope RX 10
专业音频修复软件，用于消除录音噪音、口水音和环境声，提高语音样本质量。
- Au
Adobe Audition
专业音频编辑工具，用于音频样本的整理、剪辑、调音和后期处理。
图像生成技术
- SD
Stable Diffusion
开源AI图像生成模型，可通过文本提示创建高质量图像，用于设计专辑封面和内页艺术素材。
- LoRA
LoRA微调技术
低秩适应技术，能够以少量样本高效微调大型模型。用于训练个人肖像模型，生成符合特定风格的图像。
- CN
ControlNet
Stable Diffusion的条件控制扩展，通过额外输入控制图像生成过程。用于精确控制图像的光影、姿势和构图。
- PS
Photoshop
专业图像编辑软件，用于AI生成图像的润色、合成和布局设计，完成最终专辑封面的设计。
模型训练与监控
TensorBoard
机器学习实验可视化工具包，用于监控模型训练过程，分析损失函数变化，调整超参数以优化声音合成模型的质量。
项目开发过程
音频素材采集与预处理
原始素材收集
从朋友处获取约3小时的演讲比赛音频和其它录音作为训练素材
降噪与回声去除
使用iZotope RX 10对素材进行专业降噪与去回声处理，提高素材质量
音频标准化
使用Adobe Audition统一素材响度，并将音频裁剪成适合训练的5-15秒片段
声音合成模型训练与优化
歌曲音频合成与后期处理
视觉设计与创作
实体专辑制作
AI翻唱展示
点击下方播放按钮在线播放
以下歌曲均由我训练的AI语音模型演唱，展示了模型处理多种语言歌曲的能力。 通过SoVITS技术，结合主要为普通话和英语的音频数据，我成功训练了一个能胜任中文、粤语和日语等等多种语言的声音合成模型，并成功应用到本项目中。
日不落
兰亭序
いつも何度でも
查看更多AI翻唱作品
完整32首AI翻唱作品展示，包含多种语言和音乐风格
专辑详情展示
专辑封面
封底
内封
内底
CD盘面
歌曲列表
专辑封面
封底
内封
内底
CD盘面
歌曲列表
专辑封面
封底
内封
内底
CD盘面
歌曲列表
专辑封面
封底
内封
内底
CD盘面
歌曲列表
完整项目资源下载
本项目包含32首AI翻唱作品以及所有CD专辑设计素材。由于网页只能展示部分内容，您可以通过百度网盘下载完整成果进行深入了解。
实体CD成品
为了将AI创作的成果转化为有纪念价值的实体礼物。设计完后，我又找了专业的CD专辑制作商，将数字化设计成果转化为实体专辑送给了朋友，朋友感到很惊喜。也是这次经历让我感受到了AI技术在创意领域的无穷潜力。
专辑单品展示
LOVE系列整体效果
