Add other decoding methods (nbest, nbest oracle, nbest LG) for wenetspeech pruned rnnt2

[luomingshuang]

When training with the L subset, the WERs are

	dev	test-net	test-meeting	comment
greedy search	7.80	8.75	13.49	--epoch 10, --avg 2, --max-duration 100
modified beam search (beam size 4)	7.76	8.71	13.41	--epoch 10, --avg 2, --max-duration 100
fast beam search (1best)	7.94	8.74	13.80	--epoch 10, --avg 2, --max-duration 1500
fast beam search (nbest)	9.82	10.98	16.37	--epoch 10, --avg 2, --max-duration 600
fast beam search (nbest oracle)	6.88	7.18	11.77	--epoch 10, --avg 2, --max-duration 600
fast beam search (nbest LG, ngram_lm_scale=0.35)	8.83	9.88	15.47	--epoch 10, --avg 2, --max-duration 600

[csukuangfj]

Have you uploaded the decoding results to huggingface?

[luomingshuang]

I am uploading the results files to huggingface.

[luomingshuang]

Done. https://huggingface.co/luomingshuang/icefall_asr_wenetspeech_pruned_transducer_stateless2/tree/main

Have you uploaded the decoding results to huggingface?

[csukuangfj]

Have you analyzed the results of fast_beam_search_nbest_LG? Do you see any obvious error patterns?

[csukuangfj]

Also, the results of fast beam search nbest are much worse than that of fast beam search 1best, which indicates there exist some problems.

[luomingshuang]

It seems that there are too many extra insertions when using fast_beam_search_nbest_LG for decoding. https://huggingface.co/luomingshuang/icefall_asr_wenetspeech_pruned_transducer_stateless2/raw/main/log/fast_beam_search_nbest_LG/errs-DEV-beam_size_4-epoch-10-avg-2-beam-20.0-max-contexts-8-max-states-64.txt

[danpovey]

It looks to me like most of the insertions are repetitions of words. It might be some kind of bug in the process for either graph creation, or of extracting the transcript from the lattice.?

[luomingshuang]

Testing the effect of the parameter ngram_lm_scale on decoding performance when using fast_beam_search_nbest_LG:

ngram_lm_scale	CER% on DEV
0.001	15.47
0.01	14.94
0.03	13.88
0.05	12.97
0.07	12.18
0.09	11.6
0.1	11.2
0.2	9.44
0.25	9.02
0.275	8.91
0.3	8.84
0.35	8.83
0.375	8.83
0.4	9.03
0.5	9.83

[danpovey]

You need to find out why it is repeating words with the fast_beam_search_LG. That should not happen.

[luomingshuang]

Yes, there are many repeating words in the results. I will try to figure out what leads to it.

[luomingshuang]

I run the following codes with ngram_lm_scale=0.01:

elif params.decoding_method == "fast_beam_search_nbest_LG":
        hyp_tokens = fast_beam_search_nbest_LG(
            model=model,
            decoding_graph=decoding_graph,
            encoder_out=encoder_out,
            encoder_out_lens=encoder_out_lens,
            beam=params.beam,
            max_contexts=params.max_contexts,
            max_states=params.max_states,
            num_paths=params.num_paths,
            nbest_scale=params.nbest_scale,
        )
        for hyp in hyp_tokens:
            print("decoding an utterance:")
            for i in hyp:
                idx = i
                word = lexicon.word_table[i]
                print(idx, word)
            sentence = "".join([lexicon.word_table[i] for i in hyp])
            hyps.append(list(sentence))

There are some outputs as follows:

decoding an utterance:
102891 都
332266 能
152119 够
332645 能够
371500 取
87719 得
172224 好
88961 的
223482 结果
439000 所以
438395 所
555437 以
339094 女
355938 企业家
544597 要
544597 要
97689 调
102251 动
333965 你
310177 们
463140 团队
88961 的
56859 成
578571 员
88961 的
200797 积
202515 极
524762 性

decoding an utterance:
480046 未
257942 来
547672 一
106472 段
548844 一段
548844 一段
410082 时
211742 间
88961 的
623434 重
95325 点
150465 工作
430186 四
546027 也
414875 是
189639 欢迎
610046 整个
523224 信息
510346 消费
284472 领域
284472 领域
88961 的
355860 企
546428 业
331347 呢
257942 来
257942 来
159631 广泛
91556 地
88961 的
42299 参
575029 与
42497 参与

[luomingshuang]

I plan to train and re-generate the G language model based on character unit (参，与) instead of word unit (参与).

[luomingshuang]

When I use the following files for LG decoding (tokens.txt, words.txt, lexicon.txt, text):

tokens.txt:

<blk> 0
<sos/eos> 1
<unk> 2
怎 3
么 4
样 5
这 6
些 7
日 8
子 9
住 10
得 11
还 12
习 13
惯 14
吧 15
挺 16
好 17
......

words.txt:

<eps> 0
!SIL 1
<SPOKEN_NOISE> 2
<UNK> 3
怎 4
么 5
样 6
这 7
些 8
日 9
子 10
住 11
得 12
还 13
习 14
惯 15
......

lexicon.txt:

......
W W
X X
Y Y
Z Z
○ ○
一 一
丁 丁
七 七
万 万
丈 丈
三 三
上 上
下 下
不 不
与 与
丐 丐
丑 丑
专 专
且 且
丕 丕
......

text(trained for G_3_gram.fst.txt):

怎 么 样 这 些 日 子 住 得 还 习 惯 吧
挺 好 的
对 了 美 静 这 段 日 子 经 常 不 和 我 们 一 起 用 餐
是 不 是 对 我 回 来 有 什 么 想 法 啊
哪 有 的 事 啊
她 这 两 天 挺 累 的 身 体 也 不 太 舒 服
我 让 她 多 睡 一 会 那 就 好 如 果 要 是 觉 得 不 方 便
我 就 搬 出 去 住
你 看 你 这 个 人 你 就 是 疑 心 太 重
你 现 在 多 好 一 切 都 井 然 有 序 的
......

The results based on fast_beam_search_nbest_LG:

ngram_lm_scale	CER(%)
0.10	13.59
0.30	8.78
0.35	8.67
0.375	8.68
0.40	8.76

It seems the best result 8.67 is a little better than my original best result 8.83.

[luomingshuang]

The results file is here.
errs-DEV-beam_size_4-epoch-10-avg-2-beam-20.0-max-contexts-8-max-states-64.txt.txt

[luomingshuang]

The results file based on the original LG.pt is here.
errs-DEV-beam_size_4-epoch-10-avg-2-beam-20.0-max-contexts-8-max-states-64-ori-ngram-lm-scale-0.35.txt

According to above two files, we can find that when the ngram_lm_scale is changed (such as 0.35) , there is nearly no repeating words case. And comparing to the results 8.67 vs. 8.84, it seems there is no big improvement after we re-generate the LG.pt. So I think it is no necessary to change the original codes to re-generate the LG.pt.

[luomingshuang]

Best Results Conclusion:

	dev	test-net	test-meeting	comment
greedy search	7.80	8.75	13.49	--epoch 10, --avg 2, --max-duration 100
modified beam search (beam size 4)	7.76	8.71	13.41	--epoch 10, --avg 2, --max-duration 100
fast beam search (1best)	7.94	8.74	13.80	--epoch 10, --avg 2, --max-duration 1500
fast beam search (nbest, nbest_scale=1.0)	7.94	8.75	13.8	--epoch 10, --avg 2, --max-duration 600
fast beam search (nbest oracle)	6.88	7.18	11.77	--epoch 10, --avg 2, --max-duration 600
fast beam search (nbest LG, ngram_lm_scale=0.35)	8.83	9.88	15.47	--epoch 10, --avg 2, --max-duration 600

[luomingshuang]

When we try to check the case of repeating words, we do the following experiments:

1. Do checks when using fast_beam_search_nbest_LG, we do the changes in beam_search.py as follows:

......
    lattice = fast_beam_search(
        model=model,
        decoding_graph=decoding_graph,
        encoder_out=encoder_out,
        encoder_out_lens=encoder_out_lens,
        beam=beam,
        max_states=max_states,
        max_contexts=max_contexts,
        temperature=temperature,
    )

    nbest = Nbest.from_lattice(
        lattice=lattice,
        num_paths=num_paths,
        use_double_scores=use_double_scores,
        nbest_scale=nbest_scale,
    )

    # The following code is modified from nbest.intersect()

    words_id = get_texts(nbest.fsa)
    hyps = []
    import logging
    for hyp in words_id:
        sentence = "".join([word_table[i] for i in hyp])
        #logging.info(f"\n{sentence}")
        hyps.append(sentence)
    s = "\n".join(hyps)
    s = "\n" + s
    logging.info(s)
......

and the log for the above changes (ngram_lm_scale=0.01) are as follows. we can see there are many repeating words:

快快快速的通达到无疑的用户户这这是我们做社群赋能最基本的一个平台的性质疑
快快速地通达到五一的用户户这是是我们做社群赋能的最根基本的本的个一个平台的性质
快速的通达到五级的用户用户火这是我们做社群赋能的最最最最基本的个平台的性质
快快速通地通达到五一的用户这是我们我们做社群赋能的最基本的一个平台的性质
再快速的通达达到无疑的用户这是我们做社群赋能的最最基本的一个平台的性
快快快速的同达到五一级的用户口这是我们做社群赋能的最最最最最基本的一个平台的性质
快速的通达到五G的用户口这是我们做社群负能的最最最最最基本的本的一个一个平台的性质
快快速的通达到五一的用户户这是是我们做社会群无能的最最最最基本的一个一个平台的性质
快速速的通达到五一的用户这是我我们做社群赋能的最最最最最最基本的一个平台的性质
是快速的通达达到无疑的用户火这是我们作社群赋能的最基本的一个平台的性质疑
快速度地通达到五G的用用户是这是我们做社群负能的最基本的一个平台的性质
快速的地通达到五一的用户口这是是我们做社群赋能的最基本的一个平台的性质智

the log for the above changes (ngram_lm_scale=0.35) are as follows. we can see there are also repeating words:

快速地通达到五G的用户是这是我们做社群赋能的最基本的一个平台的性质
快快速的地通达到无疑的用户这是我们做社群赋能的最基本的一个平台的性质
快速的地通达到五一的用户这这是我们做社群无能的最基本的一个平台的性质
快速通达到五一的用户这是我们做社群赋能的最基本的一个一个平台的性质
快速地通达到五G的用户这是我们做社群赋能的最基本的一个平台的性质
快速地通达到五级的用户是这是我们做社群赋能的最基本的一个平平平台性质
快速的通达到无一的用户这是我们做社群赋能的最基本的一个平台的性质
快速的通达到五一的用户这是我们做社群赋能的最基本的一个平台的性质
快快速的通达到五G的用户这是我们做社群赋能的最最基本的一个平台的性质
快速的通达到五级的用户这是我们做社群赋能的最基本的一个平台的性质
快速的通达到五G的用户这是我们做社群赋能的最基本的一个平台的性质
快速地通达到五G的用户是这是我们做社群赋能的最基本的一个平台的性质
快速地通达到五一的用户是这是我们做社群赋能的最基本的一个平台的性质
快速地通达到五G的用户是这是我们做社群赋能的的最基本的一个个平台的性质

As we can see above, when increasing the ngram_lm_scale, the number of repeating words decreases.

2. Do checks when using fast_beam_search_nbest, we do the changes in beam_search.py as follows:

......
    lattice = fast_beam_search(
        model=model,
        decoding_graph=decoding_graph,
        encoder_out=encoder_out,
        encoder_out_lens=encoder_out_lens,
        beam=beam,
        max_states=max_states,
        max_contexts=max_contexts,
        temperature=temperature,
    )

    nbest = Nbest.from_lattice(
        lattice=lattice,
        num_paths=num_paths,
        use_double_scores=use_double_scores,
        nbest_scale=nbest_scale,
    )
    words_id = get_texts(nbest.fsa)
    hyps = []
    import logging
    for hyp in words_id:
        sentence = "".join([word_table[i] for i in hyp])
        hyps.append(sentence)
    s = "\n".join(hyps)
    s = "\n" + s
    logging.info(s)
......

and the log for the above change (nbest_scale=0.5) are as follows. we can see there are also repeating words:

快速地通达到五一的用户活这是我是我我们我们做社群群负能的最基本的一个平台的性质
快速地通达到五一的用户这是是我们做社群赋能的最基本的一个平台的性质
快速地通达到五G的用户G这是我们做社群赋能的最基最基本的一个平台的性质零
快快速速的同达到无疑的用户这是我们做社群赋能的最基本的一个平台的性质
快快速地通达到五G的用户这是我们做社群赋能的最基本一个平台的性质
快速地通达到五一的用户这是我我们做社群赋能的最最基本的一个平平台的性质的
快速地通达到五级的用户这是我们做社群负能的最基本的一个平台的性质S
快快速地通达到五一的用户这是我们做社群赋能的最基本的一个个平台的性质
快快速的通达达到五一的用户这是我们做社群群赋能的最基最基本的一个平台的性质
快快速的通达到无机的用户是这是我们做社群赋能的最最最基最基本一个一个平台的性质
快速地通达到五级的用户户这是我们做社群赋能的最基本的个平台的性质
快速的地通达到无疑的用户活这是我们做社群赋能的的最最基本一的个平台的性质
快速地通达到无一级的用户火这是我们做社群负能的最基本的本的一个一个平台的性质

and the log for the above change (nbest_scale=1.0) are as follows. we can see there are also repeating words:

快速的地通达到五一的用户这是我们做社群赋能的最基本的个一个平台的性质
快速的通达到无一的用户这是我们做社群赋能的最基本的一个平台的性质
快速的通达到五G的用户这是我们做社群赋能的最基的一个平台的性质
快速的通达到无疑的用户火这是我们做社群赋能的最基本的一个平台的性质
快速的通达达到五G的用户这是我们做社群赋能的最基本的一个平台的性质
快速的通达到五G的用户户这是我们做社群赋能的最基本的一个平台的性质
快速地通达到到无一的用户这是我们做社群赋能的最基本的一个平台的性质
快速的通达到五一的用户这是我们做社群赋能的最最基本的一个平台的性质
快速的通达到五一的用户这是我们作社群赋能的最基本的一个平台的性质
快速地通达到五G的用户这是我们作社群赋能的最基本的一个平台的性质
快速地通达到无疑的用户这是我们做社群赋能的最基本的一个平平台的性质
快速地通达到无一的用户这是我们做社群赋能的最基本的一个平台的性质
快快速地通达到五一的用户这是我们做社群赋能的最基本的一个平台的性质
快速的通达到五G的用户这是我们做社群赋能的最基本的一个平台的性质

As we can see above, when increasing nbest_scale, the number of repeating words decreases.

[danpovey]

When we try to check the case of repeating words, we do the following experiments:

1. Do checks when using fast_beam_search_nbest_LG, we do the changes in beam_search.py as follows:

......
    lattice = fast_beam_search(
        model=model,
        decoding_graph=decoding_graph,
        encoder_out=encoder_out,
        encoder_out_lens=encoder_out_lens,
        beam=beam,
        max_states=max_states,
        max_contexts=max_contexts,
        temperature=temperature,
    )

    nbest = Nbest.from_lattice(
        lattice=lattice,
        num_paths=num_paths,
        use_double_scores=use_double_scores,
        nbest_scale=nbest_scale,
    )

    # The following code is modified from nbest.intersect()

    words_id = get_texts(nbest.fsa)
    hyps = []
    import logging
    for hyp in words_id:
        sentence = "".join([word_table[i] for i in hyp])
        #logging.info(f"\n{sentence}")
        hyps.append(sentence)
    s = "\n".join(hyps)
    s = "\n" + s
    logging.info(s)
......

and the log for the above changes (ngram_lm_scale=0.01) are as follows. we can see there are many repeating words:

快快快速的通达到无疑的用户户这这是我们做社群赋能最基本的一个平台的性质疑
快快速地通达到五一的用户户这是是我们做社群赋能的最根基本的本的个一个平台的性质
快速的通达到五级的用户用户火这是我们做社群赋能的最最最最基本的个平台的性质
快快速通地通达到五一的用户这是我们我们做社群赋能的最基本的一个平台的性质
再快速的通达达到无疑的用户这是我们做社群赋能的最最基本的一个平台的性
快快快速的同达到五一级的用户口这是我们做社群赋能的最最最最最基本的一个平台的性质
快速的通达到五G的用户口这是我们做社群负能的最最最最最基本的本的一个一个平台的性质
快快速的通达到五一的用户户这是是我们做社会群无能的最最最最基本的一个一个平台的性质
快速速的通达到五一的用户这是我我们做社群赋能的最最最最最最基本的一个平台的性质
是快速的通达达到无疑的用户火这是我们作社群赋能的最基本的一个平台的性质疑
快速度地通达到五G的用用户是这是我们做社群负能的最基本的一个平台的性质
快速的地通达到五一的用户口这是是我们做社群赋能的最基本的一个平台的性质智

the log for the above changes (ngram_lm_scale=0.35) are as follows. we can see there are also repeating words:

快速地通达到五G的用户是这是我们做社群赋能的最基本的一个平台的性质
快快速的地通达到无疑的用户这是我们做社群赋能的最基本的一个平台的性质
快速的地通达到五一的用户这这是我们做社群无能的最基本的一个平台的性质
快速通达到五一的用户这是我们做社群赋能的最基本的一个一个平台的性质
快速地通达到五G的用户这是我们做社群赋能的最基本的一个平台的性质
快速地通达到五级的用户是这是我们做社群赋能的最基本的一个平平平台性质
快速的通达到无一的用户这是我们做社群赋能的最基本的一个平台的性质
快速的通达到五一的用户这是我们做社群赋能的最基本的一个平台的性质
快快速的通达到五G的用户这是我们做社群赋能的最最基本的一个平台的性质
快速的通达到五级的用户这是我们做社群赋能的最基本的一个平台的性质
快速的通达到五G的用户这是我们做社群赋能的最基本的一个平台的性质
快速地通达到五G的用户是这是我们做社群赋能的最基本的一个平台的性质
快速地通达到五一的用户是这是我们做社群赋能的最基本的一个平台的性质
快速地通达到五G的用户是这是我们做社群赋能的的最基本的一个个平台的性质

As we can see above, when increasing the ngram_lm_scale, the number of repeating words decreases.

2. Do checks when using fast_beam_search_nbest, we do the changes in beam_search.py as follows:

......
    lattice = fast_beam_search(
        model=model,
        decoding_graph=decoding_graph,
        encoder_out=encoder_out,
        encoder_out_lens=encoder_out_lens,
        beam=beam,
        max_states=max_states,
        max_contexts=max_contexts,
        temperature=temperature,
    )

    nbest = Nbest.from_lattice(
        lattice=lattice,
        num_paths=num_paths,
        use_double_scores=use_double_scores,
        nbest_scale=nbest_scale,
    )
    words_id = get_texts(nbest.fsa)
    hyps = []
    import logging
    for hyp in words_id:
        sentence = "".join([word_table[i] for i in hyp])
        hyps.append(sentence)
    s = "\n".join(hyps)
    s = "\n" + s
    logging.info(s)
......

and the log for the above change (nbest_scale=0.5) are as follows. we can see there are also repeating words:

快速地通达到五一的用户活这是我是我我们我们做社群群负能的最基本的一个平台的性质
快速地通达到五一的用户这是是我们做社群赋能的最基本的一个平台的性质
快速地通达到五G的用户G这是我们做社群赋能的最基最基本的一个平台的性质零
快快速速的同达到无疑的用户这是我们做社群赋能的最基本的一个平台的性质
快快速地通达到五G的用户这是我们做社群赋能的最基本一个平台的性质
快速地通达到五一的用户这是我我们做社群赋能的最最基本的一个平平台的性质的
快速地通达到五级的用户这是我们做社群负能的最基本的一个平台的性质S
快快速地通达到五一的用户这是我们做社群赋能的最基本的一个个平台的性质
快快速的通达达到五一的用户这是我们做社群群赋能的最基最基本的一个平台的性质
快快速的通达到无机的用户是这是我们做社群赋能的最最最基最基本一个一个平台的性质
快速地通达到五级的用户户这是我们做社群赋能的最基本的个平台的性质
快速的地通达到无疑的用户活这是我们做社群赋能的的最最基本一的个平台的性质
快速地通达到无一级的用户火这是我们做社群负能的最基本的本的一个一个平台的性质

and the log for the above change (nbest_scale=1.0) are as follows. we can see there are also repeating words:

快速的地通达到五一的用户这是我们做社群赋能的最基本的个一个平台的性质
快速的通达到无一的用户这是我们做社群赋能的最基本的一个平台的性质
快速的通达到五G的用户这是我们做社群赋能的最基的一个平台的性质
快速的通达到无疑的用户火这是我们做社群赋能的最基本的一个平台的性质
快速的通达达到五G的用户这是我们做社群赋能的最基本的一个平台的性质
快速的通达到五G的用户户这是我们做社群赋能的最基本的一个平台的性质
快速地通达到到无一的用户这是我们做社群赋能的最基本的一个平台的性质
快速的通达到五一的用户这是我们做社群赋能的最最基本的一个平台的性质
快速的通达到五一的用户这是我们作社群赋能的最基本的一个平台的性质
快速地通达到五G的用户这是我们作社群赋能的最基本的一个平台的性质
快速地通达到无疑的用户这是我们做社群赋能的最基本的一个平平台的性质
快速地通达到无一的用户这是我们做社群赋能的最基本的一个平台的性质
快快速地通达到五一的用户这是我们做社群赋能的最基本的一个平台的性质
快速的通达到五G的用户这是我们做社群赋能的最基本的一个平台的性质

As we can see above, when increasing nbest_scale, the number of repeating words decreases.

I hope someone can do some investigation here, about the repeating words. It should not really be possible for words to repeat, I think. If they are repeating, it is very strange to me and I think we should investigate how it can happen.

[luomingshuang]

It seems that the case of repeating words is not unique in the decoding method fast_beam_search_nbest_LG.

[danpovey]

Can you look for repeating words in the training data?
If the training data had instances where words wrongly repeated in the transcript, the model might learn to generate such things.

[csukuangfj]

Can you look for repeating words in the training data? If the training data had instances where words wrongly repeated in the transcript, the model might learn to generate such things.

We looked at the lattice generated with a trivial graph on Wednesday. If we select n paths from the lattice and print out the words of each path, there would be some repeated words in the selected paths.

If we replace the trivial graph with an LG and repeat the above approach, the repeated words become more frequent.