阿里達(dá)摩院，又搞事兒了。

這兩天，它們發(fā)布了一個(gè)全新的語(yǔ)音辨認(rèn)模型：

開(kāi)發(fā)人員直抒己見(jiàn)：這是咱們“殺手锏”級(jí)的作品。

——不只辨認(rèn)精確率“屠榜”幾大威望數(shù)據(jù)集，一路SOTA，推理功率上比較傳統(tǒng)模型，也高可提高10倍。

值得一提的是，Paraformer剛宣布就現(xiàn)已開(kāi)源了。

語(yǔ)音輸入法、智能客服、車(chē)載導(dǎo)航、會(huì)議紀(jì)要等場(chǎng)景，它都能夠hold住。

怎么做到的？

Paraformer：從自回歸到非自回歸

咱們知道語(yǔ)音一直是人機(jī)交互重要研究領(lǐng)域。

而當(dāng)時(shí)語(yǔ)音辨認(rèn)根底結(jié)構(gòu)已從初雜亂的混合語(yǔ)音辨認(rèn)系統(tǒng)，演變?yōu)楦咝П憬莸亩说蕉苏Z(yǔ)音辨認(rèn)系統(tǒng)。

其中具代表性的模型當(dāng)屬自回歸端到端模型Transformer，它能夠在辨認(rèn)過(guò)程中需逐一生成方針文字，實(shí)現(xiàn)了較高精確率。

不過(guò)Transformer核算并行度低，無(wú)法高效結(jié)合GPU進(jìn)行推理。

針對(duì)該問(wèn)題，學(xué)術(shù)界近年曾提出并行輸出方針文字的非自回歸模型。

可是這種模型也存在著建模難度和核算雜亂度高，精確率有待提高的問(wèn)題。

達(dá)摩院本次推出的Paraformer，初次在工業(yè)級(jí)運(yùn)用層面解決了端到端辨認(rèn)作用與功率統(tǒng)籌的難題。

它歸于單輪非自回歸模型。

對(duì)于這一類(lèi)模型，現(xiàn)有作業(yè)往往聚焦于如何愈加精確地猜測(cè)方針文字個(gè)數(shù)，如較為典型的Mask CTC，選用CTC猜測(cè)輸出文字個(gè)數(shù)。

但考慮到現(xiàn)實(shí)運(yùn)用中，語(yǔ)速、口音、靜音以及噪聲等因素的影響，如何精確的猜測(cè)方針文字個(gè)數(shù)以及抽取方針文字對(duì)應(yīng)的聲學(xué)隱變量仍然是一個(gè)比較大的應(yīng)戰(zhàn)。

另外一方面，經(jīng)過(guò)比照自回歸模型與單輪非自回歸模型在工業(yè)大數(shù)據(jù)上的過(guò)錯(cuò)類(lèi)型（如下圖所示，AR與vanilla NAR），我們發(fā)現(xiàn)比較于自回歸模型，非自回歸模型在猜測(cè)方針文字個(gè)數(shù)（插入過(guò)錯(cuò)+刪除過(guò)錯(cuò)）方面差距較小，可是替換過(guò)錯(cuò)顯著的添加。

阿里達(dá)摩院以為這是因?yàn)閱屋喎亲曰貧w模型中條件獨(dú)立假設(shè)導(dǎo)致的語(yǔ)義信息丟掉。與此一起，現(xiàn)在非自回歸模型主要停留在學(xué)術(shù)驗(yàn)證階段，還沒(méi)有工業(yè)大數(shù)據(jù)上的相關(guān)實(shí)驗(yàn)與定論。

Paraformer是如何做的呢？

針對(duì)第一個(gè)問(wèn)題，阿里達(dá)摩院選用一個(gè)猜測(cè)器（Predictor）來(lái)猜測(cè)文字個(gè)數(shù)并經(jīng)過(guò)Continuous integrate-and-fire (CIF)機(jī)制來(lái)抽取文字對(duì)應(yīng)的聲學(xué)隱變量。

針對(duì)第二個(gè)問(wèn)題，受啟發(fā)于機(jī)器翻譯領(lǐng)域中的Glancing language model（GLM），他們規(guī)劃了一個(gè)根據(jù)GLM的 Sampler模塊來(lái)增強(qiáng)模型對(duì)上下文語(yǔ)義的建模。

除此之外，團(tuán)隊(duì)還規(guī)劃了一種生成負(fù)樣本策略來(lái)引進(jìn)MWER區(qū)分性練習(xí)。

終究，Paraformer由Encoder、Predictor、Sampler、Decoder與Loss function五部分組成。

核心點(diǎn)主要包含以下幾點(diǎn)：

• Predictor模塊：根據(jù)CIF 的Predictor 猜測(cè)語(yǔ)音中方針文字個(gè)數(shù)以及抽取方針文字對(duì)應(yīng)的聲學(xué)特征向量；
• Sampler：經(jīng)過(guò)采樣，將聲學(xué)特征向量與方針文字向量變換成含有語(yǔ)義信息的特征向量，合作雙向的Decoder來(lái)增強(qiáng)模型對(duì)于上下文的建模才能；
• 根據(jù)負(fù)樣本采樣的MWER練習(xí)原則。

作用SOTA，推理功率高提10倍

終究，在學(xué)術(shù)界常用的中文辨認(rèn)評(píng)測(cè)使命AISHELL-1、AISHELL-2及WenetSpeech等測(cè)驗(yàn)集上， Paraformer-large模型均獲得了優(yōu)作用。

在AISHELL-1上，Paraformer在現(xiàn)在揭露宣布論文中，為功能（辨認(rèn)作用&核算雜亂度）優(yōu)的非自回歸模型，且Paraformer-large模型的辨認(rèn)精確率遠(yuǎn)遠(yuǎn)超于現(xiàn)在揭露宣布論文中的結(jié)果（dev/test：1.75/1.95）。

在專(zhuān)業(yè)的第三方全網(wǎng)公共云中文語(yǔ)音辨認(rèn)評(píng)測(cè)SpeechIO TIOBE白盒測(cè)驗(yàn)中，Paraformer-large辨認(rèn)精確率超越98%，是現(xiàn)在揭露測(cè)評(píng)中精確率高的中文語(yǔ)音辨認(rèn)模型。

合作GPU推理，不同版本的Paraformer可將推理功率提高5～10倍。

一起，Paraformer運(yùn)用了6倍下采樣的低幀率建模計(jì)劃，可將核算量下降近6倍，支持大模型的高效推理。

終的終，歡迎各位開(kāi)發(fā)者下載Paraformer并留言反應(yīng)模型運(yùn)用感受~

量子位將贈(zèng)送3張阿里研發(fā)的會(huì)議紀(jì)要產(chǎn)品“聽(tīng)悟”特邀用戶年度權(quán)益卡，每天可運(yùn)用離線語(yǔ)音/視頻轉(zhuǎn)寫(xiě)10小時(shí)+實(shí)時(shí)轉(zhuǎn)寫(xiě)8小時(shí)，高價(jià)值超萬(wàn)元！