首页下载资源人工智能ChatTTS: A generative speech model for daily dialogue.

ZIPChatTTS: A generative speech model for daily dialogue.

cryin7164.36KB需要积分:1

资源文件列表:

ChatTTS-main.zip 大约有80个文件
  1. ChatTTS-main/
  2. ChatTTS-main/.gitattributes 86B
  3. ChatTTS-main/.github/
  4. ChatTTS-main/.github/workflows/
  5. ChatTTS-main/.github/workflows/checksum.yml 1.44KB
  6. ChatTTS-main/.github/workflows/close-issue.yml 731B
  7. ChatTTS-main/.github/workflows/push-format.yml 1.3KB
  8. ChatTTS-main/.github/workflows/unitest.yml 626B
  9. ChatTTS-main/.github/workflows/upload-pypi.yml 824B
  10. ChatTTS-main/.gitignore 3.14KB
  11. ChatTTS-main/ChatTTS/
  12. ChatTTS-main/ChatTTS/__init__.py 23B
  13. ChatTTS-main/ChatTTS/core.py 21.17KB
  14. ChatTTS-main/ChatTTS/model/
  15. ChatTTS-main/ChatTTS/model/__init__.py 79B
  16. ChatTTS-main/ChatTTS/model/cuda/
  17. ChatTTS-main/ChatTTS/model/cuda/__init__.py 35B
  18. ChatTTS-main/ChatTTS/model/cuda/te_llama.py 8.84KB
  19. ChatTTS-main/ChatTTS/model/dvae.py 6.07KB
  20. ChatTTS-main/ChatTTS/model/gpt.py 20.2KB
  21. ChatTTS-main/ChatTTS/model/processors.py 1.89KB
  22. ChatTTS-main/ChatTTS/norm.py 7.22KB
  23. ChatTTS-main/ChatTTS/res/
  24. ChatTTS-main/ChatTTS/res/__init__.py
  25. ChatTTS-main/ChatTTS/res/homophones_map.json 288.72KB
  26. ChatTTS-main/ChatTTS/res/sha256_map.json 1.07KB
  27. ChatTTS-main/ChatTTS/utils/
  28. ChatTTS-main/ChatTTS/utils/__init__.py 159B
  29. ChatTTS-main/ChatTTS/utils/dl.py 5.82KB
  30. ChatTTS-main/ChatTTS/utils/gpu.py 1.5KB
  31. ChatTTS-main/ChatTTS/utils/io.py 1.16KB
  32. ChatTTS-main/ChatTTS/utils/log.py 335B
  33. ChatTTS-main/LICENSE 18.89KB
  34. ChatTTS-main/README.md 9.19KB
  35. ChatTTS-main/docs/
  36. ChatTTS-main/docs/cn/
  37. ChatTTS-main/docs/cn/README.md 8.17KB
  38. ChatTTS-main/docs/es/
  39. ChatTTS-main/docs/es/README.md 9.5KB
  40. ChatTTS-main/docs/jp/
  41. ChatTTS-main/docs/jp/README.md 8.07KB
  42. ChatTTS-main/docs/ru/
  43. ChatTTS-main/docs/ru/README.md 11.04KB
  44. ChatTTS-main/examples/
  45. ChatTTS-main/examples/cmd/
  46. ChatTTS-main/examples/cmd/run.py 1.94KB
  47. ChatTTS-main/examples/ipynb/
  48. ChatTTS-main/examples/ipynb/colab.ipynb 10.57KB
  49. ChatTTS-main/examples/ipynb/example.ipynb 9.18KB
  50. ChatTTS-main/examples/web/
  51. ChatTTS-main/examples/web/__init__.py
  52. ChatTTS-main/examples/web/ex.py 957B
  53. ChatTTS-main/examples/web/funcs.py 5.17KB
  54. ChatTTS-main/examples/web/webui.py 7.11KB
  55. ChatTTS-main/requirements.txt 267B
  56. ChatTTS-main/setup.py 1KB
  57. ChatTTS-main/tools/
  58. ChatTTS-main/tools/__init__.py
  59. ChatTTS-main/tools/audio/
  60. ChatTTS-main/tools/audio/__init__.py 116B
  61. ChatTTS-main/tools/audio/av.py 825B
  62. ChatTTS-main/tools/audio/ffmpeg.py 116B
  63. ChatTTS-main/tools/audio/mp3.py 528B
  64. ChatTTS-main/tools/audio/np.py 332B
  65. ChatTTS-main/tools/checksum/
  66. ChatTTS-main/tools/checksum/main.go 608B
  67. ChatTTS-main/tools/checksum/tmpl.go 702B
  68. ChatTTS-main/tools/llm/
  69. ChatTTS-main/tools/llm/__init__.py 28B
  70. ChatTTS-main/tools/llm/llm.py 3.36KB
  71. ChatTTS-main/tools/logger/
  72. ChatTTS-main/tools/logger/__init__.py 28B
  73. ChatTTS-main/tools/logger/log.py 2.35KB
  74. ChatTTS-main/tools/normalizer/
  75. ChatTTS-main/tools/normalizer/__init__.py 73B
  76. ChatTTS-main/tools/normalizer/en.py 336B
  77. ChatTTS-main/tools/normalizer/zh.py 162B
  78. ChatTTS-main/tools/seeder/
  79. ChatTTS-main/tools/seeder/__init__.py 34B
  80. ChatTTS-main/tools/seeder/ctx.py 329B

资源介绍:

ChatTTS is a text-to-speech model designed specifically for dialogue scenarios such as LLM assistant. ChatTTS最新源码
# ChatTTS > [!NOTE] > Следующая информация может быть не самой последней, пожалуйста, смотрите английскую версию для актуальных данных. [![Huggingface](https://img.shields.io/badge/🤗%20-Models-yellow.svg?style=for-the-badge)](https://huggingface.co/2Noise/ChatTTS) [**English**](../../README.md) | [**简体中文**](../cn/README.md) | [**日本語**](../jp/README.md) | **Русский** | [**Español**](../es/README.md) ChatTTS - это модель преобразования текста в речь, специально разработанная для диалоговых сценариев, таких как помощник LLM. Она поддерживает как английский, так и китайский языки. Наша модель обучена на более чем 100 000 часах английского и китайского языков. Открытая версия на **[HuggingFace](https://huggingface.co/2Noise/ChatTTS)** - это предварительно обученная модель с 40 000 часами без SFT. Для официальных запросов о модели и плане развития, пожалуйста, свяжитесь с нами по адресу **open-source@2noise.com**. Вы можете присоединиться к нашей группе QQ: 808364215 для обсуждения. Добавление вопросов на GitHub также приветствуется. --- ## Особенности 1. **Диалоговый TTS**: ChatTTS оптимизирован для задач, основанных на диалогах, что позволяет создавать натуральную и выразительную речь. Он поддерживает несколько говорящих, облегчая интерактивные беседы. 2. **Тонкий контроль**: Модель может предсказывать и контролировать тонкие просодические особенности, включая смех, паузы и вставные слова. 3. **Лучшая просодия**: ChatTTS превосходит большинство открытых моделей TTS с точки зрения просодии. Мы предоставляем предварительно обученные модели для поддержки дальнейших исследований и разработок. Для подробного описания модели вы можете обратиться к **[видео на Bilibili](https://www.bilibili.com/video/BV1zn4y1o7iV)** --- ## Отказ от ответственности Этот репозиторий предназначен только для академических целей. Он предназначен для образовательного и исследовательского использования и не должен использоваться в коммерческих или юридических целях. Авторы не гарантируют точность, полноту или надежность информации. Информация и данные, использованные в этом репозитории, предназначены только для академических и исследовательских целей. Данные получены из общедоступных источников, и авторы не заявляют о каких-либо правах собственности или авторских правах на данные. ChatTTS - мощная система преобразования текста в речь. Однако очень важно использовать эту технологию ответственно и этично. Чтобы ограничить использование ChatTTS, мы добавили небольшое количество высокочастотного шума во время обучения модели на 40 000 часов и сжали качество аудио как можно больше с помощью формата MP3, чтобы предотвратить возможное использование злоумышленниками в преступных целях. В то же время мы внутренне обучили модель обнаружения и планируем открыть ее в будущем. --- ## Использование

Базовое использование

```python import ChatTTS from IPython.display import Audio import torch chat = ChatTTS.Chat() chat.load(compile=False) # Установите значение True для лучшей производительности texts = ["ВВЕДИТЕ ВАШ ТЕКСТ ЗДЕСЬ",] wavs = chat.infer(texts) torchaudio.save("output1.wav", torch.from_numpy(wavs[0]), 24000) ```

Продвинутое использование

```python ################################### # Выборка говорящего из Гауссиана. rand_spk = chat.sample_random_speaker() print(rand_spk) # save it for later timbre recovery params_infer_code = { 'spk_emb': rand_spk, # добавить выбранного говорящего 'temperature': .3, # использовать пользовательскую температуру 'top_P': 0.7, # декодирование top P 'top_K': 20, # декодирование top K } ################################### # Для контроля на уровне предложений. # используйте oral_(0-9), laugh_(0-2), break_(0-7) # для генерации специального токена в тексте для синтеза. params_refine_text = { 'prompt': '[oral_2][laugh_0][break_6]' } wav = chat.infer(texts, params_refine_text=params_refine_text, params_infer_code=params_infer_code) ################################### # Для контроля на уровне слов. text = 'Какая ваша любимая английская еда?[uv_break]your favorite english food?[laugh][lbreak]' wav = chat.infer(text, skip_refine_text=True, params_refine_text=params_refine_text, params_infer_code=params_infer_code) torchaudio.save("output2.wav", torch.from_numpy(wavs[0]), 24000) ```

Пример: самопрезентация

```python inputs_ru = """ ChatTTS - это модель преобразования текста в речь, разработанная для диалоговых приложений. [uv_break]Она поддерживает смешанный языковой ввод [uv_break]и предлагает возможности множественных говорящих с точным контролем над просодическими элементами [laugh]как [uv_break]смех[laugh], [uv_break]паузы, [uv_break]и интонацию. [uv_break]Она обеспечивает натуральную и выразительную речь,[uv_break]поэтому, пожалуйста, [uv_break] используйте проект ответственно и на свой страх и риск.[uv_break] """.replace('\n', '') # Русский язык все еще находится в экспериментальной стадии. params_refine_text = { 'prompt': '[oral_2][laugh_0][break_4]' } audio_array_ru = chat.infer(inputs_ru, params_refine_text=params_refine_text) torchaudio.save("output3.wav", torch.from_numpy(audio_array_ru[0]), 24000) ``` [мужской говорящий](https://github.com/2noise/ChatTTS/assets/130631963/e0f51251-db7f-4d39-a0e9-3e095bb65de1)
100+评论
captcha