update readme
This commit is contained in:
lipku
parent
3e60fd7738
commit
9c8f020b3f
|
|
@ -67,7 +67,7 @@ python app.py --model ernerf
|
||||||
```
|
```
|
||||||
支持如下参数配置
|
支持如下参数配置
|
||||||
##### 3.1.1.1 音频特征用hubert
|
##### 3.1.1.1 音频特征用hubert
|
||||||
默认用的wav2lip，如果训练模型时用的hubert提取音频特征，用如下命令启动数字人
|
默认用的wav2vec，如果训练模型时用的hubert提取音频特征，用如下命令启动数字人
|
||||||
```
|
```
|
||||||
python app.py --asr_model facebook/hubert-large-ls960-ft
|
python app.py --asr_model facebook/hubert-large-ls960-ft
|
||||||
```
|
```
|
||||||
|
|
@ -228,6 +228,9 @@ python app.py --transport webrtc --customvideo_config data/custom_config.json
|
||||||
用浏览器打开http://serverip:8010/rtcpushchat.html
|
用浏览器打开http://serverip:8010/rtcpushchat.html
|
||||||
|
|
||||||
|
|
||||||
|
### 3.6 更多功能集成
|
||||||
|
- 语音输入、知识库问答 [Fay](https://github.com/xszyou/Fay)
|
||||||
|
- 虚拟主播，字幕抓取 [Luna](https://github.com/Ikaros-521/AI-Vtuber)
|
||||||
|
|
||||||
## 4. Docker Run
|
## 4. Docker Run
|
||||||
不需要前面的安装，直接运行。
|
不需要前面的安装，直接运行。
|
||||||
|
|
@ -263,13 +266,14 @@ https://www.codewithgpu.com/i/lipku/metahuman-stream/base
|
||||||
（2）wav2vec延时0.4s，需要缓存18帧音频做计算
|
（2）wav2vec延时0.4s，需要缓存18帧音频做计算
|
||||||
（3）srs转发延时，设置srs服务器减少缓冲延时。具体配置可看 https://ossrs.net/lts/zh-cn/docs/v5/doc/low-latency
|
（3）srs转发延时，设置srs服务器减少缓冲延时。具体配置可看 https://ossrs.net/lts/zh-cn/docs/v5/doc/low-latency
|
||||||
|
|
||||||
|
|
||||||
## 7. TODO
|
## 7. TODO
|
||||||
- [x] 添加chatgpt实现数字人对话
|
- [x] 添加chatgpt实现数字人对话
|
||||||
- [x] 声音克隆
|
- [x] 声音克隆
|
||||||
- [x] 数字人静音时用一段视频代替
|
- [x] 数字人静音时用一段视频代替
|
||||||
- [x] MuseTalk
|
- [x] MuseTalk
|
||||||
- [x] Wav2Lip
|
- [x] Wav2Lip
|
||||||
- [ ] SyncTalk
|
- [ ] TalkingGaussian
|
||||||
|
|
||||||
如果本项目对你有帮助，帮忙点个star。也欢迎感兴趣的朋友一起来完善该项目。
|
如果本项目对你有帮助，帮忙点个star。也欢迎感兴趣的朋友一起来完善该项目。
|
||||||
知识星球: https://t.zsxq.com/7NMyO 沉淀高质量常见问题、最佳实践经验、问题解答
|
知识星球: https://t.zsxq.com/7NMyO 沉淀高质量常见问题、最佳实践经验、问题解答
|
||||||
|
|
|
||||||
Loading…
Reference in New Issue