Bailing-TTS: Chinese Dialectal Speech Synthesis Towards Human-like Spontaneous Representation

[Paper]

Xinhan Di, Zihao Chen, Yunming Liang, Junjie Zheng, Yihua Wang, Chaofan Ding

AI Lab, Giant Network

1. Abstract

Large-scale text-to-speech (TTS) models have made significant progress recently. However, they still fall short in the generation of Chinese dialectal speech. To address this, we propose Bailing-TTS, a family of large-scale TTS models capable of generating high-quality Chinese dialectal speech. Bailing-TTS serves as a foundation model for Chinese dialectal speech generation. First, continual semi-supervised learning is proposed to facilitate the alignment of text tokens and speech tokens. Second, the Chinese dialectal representation learning is developed using a specific transformer architecture and multi-stage training processes. With the proposed design of novel network architecture and corresponding strategy, Bailing-TTS is able to generate Chinese dialectal speech from text effectively and efficiently. Experiments demonstrate that Bailing-TTS generates Chinese dialectal speech towards human-like spontaneous representation.

Contents

Fig.1 The overview architecture of Bailing-TTS


Fig.2 The structure of Dialect MoE


2. Chinese Dialect



Reference Speaker Speech


Language Text Generated
Henan Dialect 芝麻叶儿黄橛橛，有后娘就有后爹。
Henan Dialect 小老鼠儿，上灯台，偷油吃，下不来。
Henan Dialect 椿树椿树你姓王，你发粗来我长长，我长长来穿衣裳，你发粗来做架梁。
Henan Dialect 你真嘞以为我就是恁妈说嘞那样儿啊，我今天全靠着叶家、全靠着恁妈，我就是一个吃软饭嘞？
Henan Dialect 俺老家是河南南阳嘞，那可是个好地儿，回头恁去俺那儿喽，我管给恁安排。我这个人嘞，性格比较活泼，有啥说啥，从来不拐弯抹角嘞。平时就好跟朋友们聚一块儿，喷喷空儿，吃吃零嘴儿。跟俺那一片儿，关系都可好了，平时街坊邻居有啥事儿，我也都会去帮帮忙儿。
Henan Dialect 我一直觉得，只要肯下劲儿，就没有啥事儿是干不成嘞。这就是我，一个可普通但是也可热情嘞人。希望大家多关照了，咱一起儿开开心心嘞！谢谢大家！


3. Mandarin Zero-shot In-context Learning

Language Prompt Generated-A Generated-B
Mandarin

呃，这天气真是太热了，真是一点也不想动。

我突然想起一个冷笑话，呵呵呵，你想不想听？
Mandarin

嘶呃，关于这个问题我们还得好好思考思考，并不是那么简单的。

这个问题，嗯嘶，从另一个角度看，是不是对我们来说也是一件好事？
Mandarin

喽，明天又是周末啦，一起去看个电影吧。

啊，真可惜，差一点就是第一了呢。
Mandarin

嗯，爸爸说要好好吃饭才能长高高，所以我要吃多多的饭长高高。

呃，小孩子是不能玩火的，玩火容易受伤。
Mandarin

嗯，回想起当年，这里还是个小村庄。

说起我们以前的事，啊，那真是三天三夜都说不完。
Mandarin

呃，这个事已经过去那么久了，就不要再说了。

嘶，我才意识到我刚犯了个错。
Mandarin

嗯，虽然天气很热，但是我还是坚持每天跑步。

哦，你说的是这个啊，这是我去海边的时候捡到的。


4. Mandarin Speaker Fine-tune

Language Text Generated
Mandarin 呵呵，你是我朋友里唯一一个喝汽水放完气再喝的。
Mandarin 让我算算，嗯，一共是六万五千五百三十六天，对吧？
Mandarin 理事长的事情也好，市井游马的事情也好，呃……仔细想想也不难理解啦。
Mandarin 啊！我现在好困，你们每天这样玩儿，上班不困吗？
Mandarin 呃你这个梦属于超现实主义，狂想派的。
Mandarin 嗯……在叛乱军灭亡之时，莱因哈特也会倒下的。
Mandarin 没啥讲究就好，我怕是走错了方向，呵呵。
Mandarin 呐，在这种公众场合还是低调点好。