迷你项目：python cli(command line interface) and api(application programming interface)

[robin1001]

目的

• 为开发者提供开箱即用更方便、更稳定的 python cli 和 api，功能、易用性能对标 whisper。
• 基于 python 快速的开发和迭代。

其背景是现有的基于 c++ 的 python binding 扩展、开发、维护成本都比较高，大家普遍反馈环境问题也比较多。

功能

• 基本 attention rescoring 支持 @robin1001 , 见 [cli] support attention rescoring decoding #2075
• 时间戳支持 @robin1001 , 见 [cli] add timestamp support #2082
• 置信度支持 @robin1001, 见 [cli] support confidence in cli #2083
• 对齐支持 @robin1001
• GPU 支持，依赖 pytorch 进行原生支持，@yuekaizhang
• paraformer 支持，目前 paraformer 是行业里效果最好的开源中文模型。@Mddct [cli/paraformer] ali-paraformer inference #2067
• 长音频支持？
• 热词支持 @cdliang11 [cli] support context biasing with ac automaton #2128
• VAD 支持 ?
• 说话人日志 speaker diarization 支持？@cdliang11
• onnxruntime 支持，支持树莓派等 ARM 平台，类似 pip install wenet[onnx] @xingchensong #2089
• 其他 feature

欢迎大家提需求。

[xingchensong]

提一个：wenet.cpp, paraformer.cpp, ... etc (int4量化+多平台支持)

[Mddct]

现在paraformer 可以导出jit， 之后会支持onnx
不仅是cli ， runtime 也可以比较容易继
而且cif的对齐是比较准确的 后边是否考虑对齐用cif

其次 whisper 也可以考虑拿过来， espnet已经有reproduce whisper的pr了
espnet/espnet#5478 （@xingchensong 提供）

[xingchensong]

现在paraformer 可以导出jit， 之后会支持onnx 不仅是cli ， runtime 也可以比较容易继 而且cif的对齐是比较准确的 后边是否考虑对齐用cif

其次 whisper 也可以考虑拿过来， espnet已经有reproduce whisper的pr了 espnet/espnet#5478 （@xingchensong 提供）

目前在完善deepspeed的易用性，下一步就是reproduce whisper了

[Mddct]

cli

• win backend 修复

cli-paraformer 推理基本功能完成
TODO ：

• TP-align:
• timestamp
• parallel cif [rnnt] 重构rnnt #2064
• recognize.py 支持推理，加速打标 测试
• 自动化转conf等资源 （p0）
• 精简paraformer目录，仅保留inference（p0 l）[paraformer] delete training relatd and simplified paraformer #2093

NOTE： 前两，ref：https://modelscope.cn/models/damo/speech_timestamp_prediction-v1-16k-offline/summary8

[Mddct]

新需求： 端到端输出产生字幕

[Vebrun]

新需求：希望支持流式。目前cli 下的只支持音频文件，把音频文件按流式丢进去一塌糊涂