PixVerse 口型同步与原生音频生成
原生音频是什么
从 V5.5 版本开始,PixVerse 不再只是生成「哑视频」——它可以同时生成视频里的声音,包括:
- 对白:人物说话的语音内容
- 音效:脚步、拍打、摩擦、启动音等动作伴随的声音
- 环境音:海浪、风声、空调嗡鸣、远处车流等背景氛围声
- 音乐:场景背景音乐
而且不仅有声音,还有口型同步(Lip Sync)——如果提示词里写了说话内容,生成的视频中人物的嘴型会和说出的话对齐。
这是 PixVerse 区别于很多同类工具的一个重要能力——其他工具通常需要先生成视频,再配音或用专门的口型同步工具后期处理。
怎么开启
在生成界面找到「声音」或「Audio」选项,开启即可。默认是关闭的,记得手动打开。
开启后,PixVerse 会在生成视频的同时,根据你在提示词中写的声音描述,生成对应的音轨。
声音怎么在提示词里写
环境音(最容易上手)
直接在提示词末尾加:
声音:轻柔的海浪声 + 远处的海鸥叫声 + 若有若无的风声
音效(和动作配对)
动作描述和音效描述可以放在一起:
...LED 灯环渐变亮起,发出柔和的启动提示音和细微的电流嗡鸣...
...小猫用前爪轻轻拍打木制风车,木质叶片缓慢而自然地旋转。声音:微小的猫爪拍击声、叶片转动的轻柔摩擦声...
对白(需要口型同步)
这是目前比较高阶的功能。在提示词中描述对白内容和说话者:
...穿西装的中年男人转向镜头,表情严肃,开口说话:「项目必须在下周完成」。声音:低沉稳重的男声,语速适中...
音乐
...背景有轻柔的钢琴音乐,音量较低,营造出宁静的氛围...
实战示例
示例一:海浪场景
黄昏的海岸线,金色阳光洒在海面上,海浪轻轻拍打沙滩。镜头从海滩上缓慢推进到海水边。
声音:有节奏的海浪拍打声、偶尔的海鸥叫声、远处传来的风铃响声。
8 秒,16:9,1080P,声音开启。
示例二:对话场景
咖啡馆里,两个穿休闲装的年轻人面对面坐着。女生笑着说:「今天的拿铁真好喝」,男生点头回应:「下次带你来这家新开的店」。镜头从中景缓慢推进到两人的面部特写。
声音:咖啡馆背景的低噪人声和咖啡机声、两人的对话、轻柔的爵士乐。
10 秒,16:9,1080P,声音开启。
示例三:产品展示
哑光黑色智能音箱放在胡桃木桌面上,LED 灯环渐变亮起。镜头从左侧缓慢推进到特写。
声音:柔和的启动提示音、细微的电流嗡鸣声、灯环颜色变化时的轻微咔嗒声。
10 秒,16:9,1080P,声音开启。
口型同步效果说明
什么时候效果最好
- 清晰的正面或侧面人脸:脸部没有阴影遮挡,光线充足
- 简单的对白内容:短句、日常用语,不要太复杂
- 正常说话节奏:不要过快或过慢
- 单人说话:多人对话时同步效果可能下降
什么时候效果一般
- 背面或远距离人脸:看不清嘴部,自然同步不了
- 被遮挡的嘴:口罩、手挡脸、头发挡嘴
- 复杂台词:长句、绕口令、外语混合
- 多人同时说话:模型难以同时处理多个人的口型
声音质量说明
目前的能力边界
- 环境音和音效:效果最好,自然度高
- 简单对白:可用,节奏和情绪基本准确
- 长对白或复杂语音:可能出现吞音、发音不准
- 音乐:背景音乐可用,但不要期待专业编曲
优化建议
- 把声音描述写具体:「轻柔的海浪声」比「有声音」好得多
- 对白要简短:8 秒视频里控制在 1-2 句短对话
- 单独生成音轨:某些场景下,用 PixVerse 生成纯音频素材(通过 API 或 CLI 的
create music命令),再手动叠加到视频上,效果更好 - 后期混音:要求高的场景下,PixVerse 生成的声音作为草稿,后期用专业工具精修
与声音关闭时的对比
| 对比项 | 声音开启 | 声音关闭 |
|---|---|---|
| 视频质感 | 有氛围、更有感染力 | 安静、需要后期加声音 |
| 提示词要求 | 需要写声音描述 | 只需要写视觉描述 |
| Credits 消耗 | 略高 | 较低 |
| 适合场景 | 社交媒体、氛围视频、故事片 | 产品展示、需要精确后期配音的场景 |
常见问题
Q: 我忘了开声音选项,生成了哑视频怎么办
回到提示词编辑界面,开启声音选项,其他设置不变,重新生成即可。大多数情况下提示词本身已经包含了声音描述,不需要改。
Q: 声音能单独导出吗
部分版本和 API 支持单独导出音轨。如果界面上没有这个选项,可以下载完整视频后用 FFmpeg 等工具提取音轨。
Q: 能指定说话者的声音特征吗(性别、年龄、音色)
可以在提示词里描述:「低沉稳重的男声」「清脆的少女声」「沙哑的老者声」。模型会根据描述生成相应音色,但精确控制有限。
Q: 口型对不上怎么办
几个优化方法:
- 让人脸更清晰:调整提示词让脸部光线更好、角度更正
- 缩短对白:短句比长句同步更准
- 用图生视频:如果有一张满意的人脸图,先用图生视频锁定脸部,再加对白
- 手动后期:用专门的口型同步工具修正(如 Wav2Lip、SadTalker 等)