歌歌 AI 获字节非独家版权合作：AI 音乐的 B 端闭环怎么跑 ...

95年的番茄酱丶 · 发表于前天 13:50

让 AI 生成纯正的中国音乐，为什么这么难？

* K) c/ O. E) U7 k/ M7 k作者｜Cynthia
编辑｜郑玄
歌歌 AI 创始人龙勇，或许是全中文 AI 产品圈里，最会整活儿，也最懂网络冲浪的 CEO。
如果你对这个名字不熟悉，没关系，你总该看过《中国好声音》《中国有嘻哈》，拥有 20 年音乐制作经验的龙勇，是这两档节目的官方合作伙伴，还是电视剧《北京青年》的插曲创作者。
这些都没听过？
那你一定听过在 B 站传播千万甚至上亿的魔性神曲《大香蕉》，不仅歌本身的传播度高，龙勇随手发个视频，只要标题带上《大香蕉》三个字，就有动辄几万甚至上百万的播放，最火一条，播放量甚至高达 553.8 万，冲上 B 站热门。

当然，神曲只是个意外，龙勇早在七八岁开始就抱着磁带学吉他，后来还开过连锁琴行，也因为各种音乐创作上的成绩，在圈子里小有名气。
但 2018 年，他决定把这些都放下。
去做 AI 音乐，去做一款面向普通人、也能让创作者赚到钱的 AI 音乐创作产品。于是，歌歌 AI 就这样诞生了。
01* } @( [7 x$ O% d; o

从零开始，做真正懂中文的 AI 音乐模型9 o; ?: F" s+ m9 z

事实上，歌歌 AI 团队创业了整整五年后，直到 2023 年，AI 音乐创作才真正迎来了爆发式增长。
彼时 Suno、Udio 等海外 AI 音乐工具横空出世，震动全球音乐行业。从英文流行乐到韩式 K-pop，AI 均可生成水准成熟的商用音乐作品。
但视角转回华语乐坛，事情开始变得有些不对味：这类依托英文语料训练的模型，多数情况下，其实根本听不懂中文。例如 AI 常会读错歌词生僻字、词语，歌词断句错乱；与此同时，AI 生成音乐，会人声机械僵硬、情感单薄空洞，对于国风、华语流行、民谣等国内主流曲风适配性极差，这类行业痛点也早已是老生常谈。
种种问题的根源，在于很多 AI 音乐产品在模型训练上走了捷径。
主流通用 AI 音乐模型的训练路径是：先依托海量英文曲目训练通用模型，再投喂少量中文曲库完成微调。但问题在于，华语的声调规律、音节边界、字音对齐逻辑与英语有根本性差异。仅靠少量中文数据微调，就像让母语为英语的人突击学习中文，即便没有西式口音，也无法摆脱英文本身带来的思考习惯。
为了解决这个问题，歌歌 AI 选择了一条更艰难的路：自 2022 年就从零开始，训练一个只喂中文音乐的音乐大模型。
首先，他们训练了一个音频压缩与重建的基础感知模型（VAE），这相当于让 AI 学会「听」，能理解声音的基本结构。在此基础上，他们还构建了一个十亿级参数规模的扩散主干模型，全部基于全授权华语曲库从零预训练，让 AI 从出生那天起，就在中文音乐的语境里长大。
歌歌 AI 生成音乐：篝火边的月亮，人声清晰，中文表达准确
但光有模型还不够。真正的难点在于：让 AI 理解韵味。
在 AI 领域，这叫对齐问题。模型不仅要学会生成正确的音符，还要学会生成中国人听起来对的味道。歌歌 AI 的解决方案是：以华语听众的实际审美偏好为标准，对模型进行「DPO」（Direct Preference Optimization），即偏好对齐优化。
歌歌AI 生成音乐《慢半拍》，人声清晰，中文表达准确
最终的模型架构上，歌歌 AI 音乐模型采用了端到端扩散生成为主、歌声合成为辅的混合架构。人声与伴奏各走独立的生成通路（双流设计），两条通路之间通过跨流注意力机制完成节奏与和声的精准对齐。如此一来，人声与伴奏不再是简单叠加混合，中文歌词的清晰与准确也就有了保障。
02
; t% P1 u3 |. A2 j5 ~! W- x- Z
10 秒生成一首歌，
AI 音乐进入普惠时代0 l {2 \+ b! A1 J h6 M

技术跑通了，接下来要解决的是一个更根本的问题：如何让这套技术真正服务于行业？
团队很快意识到，AI 音乐行业面临的双重困境：成本太高，以及创作者赚不到钱。事实上，这也是一枚硬币的两面。
降低成本是第一步。
传统 AI 音乐生成一首 3 分钟歌曲，可能需要数分钟甚至更长时间，在 C 端场景里，很少有用户会有如此耐心。
为此，歌歌 AI 采用了一种叫「非自回归并行生成」的架构。简单来说，就是全曲的潜在表示可以并行去噪，而非过去耗时耗力的逐 token 顺序推理。配合流匹配少步采样（标准 8 步，蒸馏版可压缩至 1 至 4 步）、模型量化加速等技术优化，在单张 H 系列 GPU 上，实时率（RTF）可以做到 0.05，也就是约 10 秒即可生成一首 3 分钟歌曲。

这个速度不仅比行业普遍水平快了二十倍以上。还能通过搭配用户端的分块续写机制，用户完全无需等待全曲生成完毕即可开始收听，实现流畅的渐进播放体验。
整体的推理时间与需要的资源少了，成本自然也就更低了，这也意味着，即便是普通用户，也可以用极低的价格甚至免费使用 AI 音乐创作工具。
03
) m0 J9 E) O+ h5 V3 J& M0 R( {" g
联动字节，
补上音乐创作
走向普通年轻人的最后一块拼图# q! m$ _, e2 X

技术降低了门槛，但如果创作者仍然赚不到钱，整个生态就无法真正建立起来。
极客公园独家获悉，伴随模型正式落地，歌歌 AI 目前已经与字节跳动达成非独家版权分成合作。全量音乐——原创歌曲、录音制品、MV 版权内容——全部合规上架汽水音乐、番茄畅听、番茄音乐、抖音、剪映、西瓜视频、今日头条等全字节产品矩阵。

这是一条完整的商业链路：抖音、剪映拥有亿级别的创作者生态。这些创作者每天制作海量的短视频内容，对背景音乐的需求是海量的。过去，他们只能从版权音乐库里挑选有限的曲目；现在，他们可以直接使用歌歌 AI 创作者所创作的版权音乐去制作视频配乐、直播背景音乐、翻唱二创。
而歌曲在汽水音乐会员付费、数字专辑、单曲售卖、平台广告分成，以及番茄系平台有效播放产生的收益，也可以让创作者按照合同约定进行分成结算。
至此，创作者使用 AI 工具生成音乐 → 内容在抖音、剪映被用作配乐、二创 → 歌曲在汽水音乐被收听 → 收益按分成结算返还给创作者，一个关于 AI 音乐从创作到变现的完整闭环正式完成，普通人也能参与其中。
在歌歌 AI 平台，一个内蒙古的宝妈，从没学过乐理，去年开始用歌歌 AI 创作歌曲。她写的《风知道我的倾诉》在抖音获得 30 万点赞，最高一天播放量超过 100 万次。按照字节的分成规则，这首歌最多时每天为她带来约 4000 元的版税收入。
这样的案例不是孤例。平台数据显示，当前歌歌 AI 月活已经达到百万上下，其中付费用户也接近十万。并且，平台已有超过 15000 名创作者成功结算了歌曲版税收益，单年版税超过 10 万的头部创作者不在少数，对接 MCN 机构的 B 端用户预估年收入能达到三四百万。
04
0 F4 D# N* ?' c: V
把录音机背进黄土高坡5 l6 R- i. O8 T) {5 I% g. U

技术和商业闭环都跑通之后，歌歌 AI 团队开始思考一个问题：AI 音乐的意义，到底是什么？
是取代人类创作者吗？显然不是。
是让每个人都能轻松创作属于自己的歌，是公司成立时就写下的 slogan。但团队很快意识到，仅仅能创作还不够，还要创作有格调的东西。
他们把目光投向了民乐。
过去十多年，在大银幕上，从《恋爱通告》里民乐作为校园中清新却边缘的注脚，到《闪光少女》用青春热血包裹着民乐被偏见裹挟的困境，从《百鸟朝凤》中黄土高原上的唢呐，再到今年爆火的《主角》里传统秦腔随时代沉浮的命运……
十多年来民乐从未在大银幕与电视荧屏上缺席，但也一直由于传承的难度过高、无法吸引年轻人，被写进各种「非遗保护」的官方文件里，与现实生活脱节。
AI 可以降低创作与传承的成本，与字节系的合作，也可以让民乐更好的走进普通人的生活。
但 AI 传承民乐没有想象的那么简单。拿最简单的音律体系来说：中国传统音乐以「宫商角徵羽」五声音阶为基础，Fa 和 ti 基本不出现，使得听感更平和婉转，表现力主要依靠滑音、揉音、颤音等装饰音来加韵。而西方音乐普及十二平均律，七声音阶中的半音关系天然带有张力，加上成熟的转调技术，旋律可通过调性切换制造强烈的情绪起伏。如何让 AI 理解这种韵味以及中国传统乐器的特色。
这个问题无法靠算法解决，只能靠最笨的方式，实地采风。
接下来的几个月，采风团队将专业录音设备背进了大江南北，找到那些坚守传统的非遗传承人、民间老艺人，记录那些口口相传了几百年的民间小调、戏曲选段：去陕西的老戏台，听秦腔老艺人的高亢唱腔；去江南的水乡，录评弹琵琶的婉转悠扬；去云南的村寨，采葫芦丝和芦笙的清新灵动；去陕北的黄土高坡，听唢呐吹出的悲欢离合。
所有这些一手采集的声音，最终都要完成正版版权归档，作为独家训练数据，专门用于优化民乐生成能力。基于现有的自研大模型，团队正在训练一个专门理解和生成民乐的子模型，让 AI 能精准还原每一种乐器的音色、每一种唱腔的韵味。
在这个过程中，AI 或许永远无法超越真正的人类大师，但这不意味着 AI 没有价值，它让更多人有机会接触和创作民乐。
如果一个从没学过乐理的年轻人，能够用 AI 生成一段古筝曲子，感受到民乐的韵味，然后因为这段旋律去搜索古筝是什么、评弹怎么来的，那一刻，AI 播下的种子，才真正开始发芽。
*头图来源：歌歌 AI
本文为极客公园原创文章，转载请联系极客君微信 geekparkGO
极客一问
你会使用 AI 生成音乐吗？

		自动登录	找回密码
密码			立即注册

歌歌 AI 获字节非独家版权合作：AI 音乐的 B 端闭环怎么跑 ...

浏览过的版块