# MockingBird

**Repository Path**: hfsc/MockingBird

## Basic Information

- **Project Name**: MockingBird
- **Description**: 实时语音克隆 - 中文/普通话
- **Primary Language**: Python
- **License**: MIT
- **Default Branch**: Add-GST
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 1
- **Forks**: 0
- **Created**: 2021-12-16
- **Last Updated**: 2024-05-30

## Categories & Tags

**Categories**: Uncategorized

**Tags**: 人工智能

## README

## 实时语音克隆 - 中文/普通话（简化板）

### [English](README.md)  | 中文

## 特性

### 1. 安装要求

> 按照原始存储库测试您是否已准备好所有环境。
> **Python 3.7 或更高版本** 需要运行工具箱。

* 安装 [PyTorch](https://pytorch.org/get-started/locally/)。
> 如果在用 pip 方式安装的时候出现 `ERROR: Could not find a version that satisfies the requirement torch==1.9.0+cu102 (from versions: 0.1.2, 0.1.2.post1, 0.1.2.post2)` 这个错误可能是 python 版本过低，3.9 可以安装成功
* 安装 [ffmpeg](https://ffmpeg.org/download.html#get-packages)。
* 运行`pip install -r requirements.txt` 来安装剩余的必要包。
* 安装 webrtcvad `pip install webrtcvad-wheels`。

### 2.使用社区预先训练好的合成器（与2.1二选一）

| 作者     | 下载链接                                                     | 效果预览                                                     | 信息                                                         |
| -------- | ------------------------------------------------------------ | ------------------------------------------------------------ | ------------------------------------------------------------ |
| 作者     | https://pan.baidu.com/s/1VHSKIbxXQejtxi2at9IrpA  [百度盘链接](https://pan.baidu.com/s/1VHSKIbxXQejtxi2at9IrpA ) 提取码：i183 |                                                              | 200k steps 只用aidatatang_200zh                              |
| @FawenYo | https://drive.google.com/file/d/1H-YGOUHpmqKxJ9FRc6vAjPuqQki24UbC/view?usp=sharing [百度盘链接](https://pan.baidu.com/s/1vSYXO4wsLyjnF3Unl-Xoxg) 提取码：1024 | [input](https://github.com/babysor/MockingBird/wiki/audio/self_test.mp3) [output](https://github.com/babysor/MockingBird/wiki/audio/export.wav) | 200k steps 台湾口音                                          |
| @miven   | https://pan.baidu.com/s/1PI-hM3sn5wbeChRryX-RCQ 提取码：2021 | https://www.bilibili.com/video/BV1uh411B7AD/                 | 150k steps 旧版需根据[issue](https://github.com/babysor/MockingBird/issues/37)修复 |

### 3 启动Web程序：

`python web.py`
运行成功后在浏览器打开地址, 默认为 `http://localhost:8080`

> 注：目前界面比较buggy, 
> * 第一次点击`录制`要等待几秒浏览器正常启动录音，否则会有重音
> * 录制结束不要再点`录制`而是`停止`
> * 仅支持手动新录音（16khz）, 不支持超过4MB的录音，最佳长度在5~15秒
> * 默认使用第一个找到的模型，有动手能力的可以看代码修改 `web\__init__.py`。



## 文件结构（目标读者：开发者）
```
├─archived_untest_files 废弃文件
├─encoder encoder模型
│  ├─data_objects
│  └─saved_models 预训练好的模型
├─samples 样例语音
├─synthesizer  synthesizer模型
│  ├─models
│  ├─saved_models 预训练好的模型
│  └─utils 工具类库
├─toolbox 图形化工具箱
├─utils 工具类库
├─vocoder  vocoder模型（目前包含hifi-gan、wavrnn）
│  ├─hifigan
│  ├─saved_models 预训练好的模型
│  └─wavernn
└─web
    ├─api
    │  └─Web端接口
    ├─config
    │  └─ Web端配置文件
    ├─static 前端静态脚本
    │  └─js 
    ├─templates 前端模板
    └─__init__.py Web端入口文件
```