Python版のcuda対応に関すること

[tuna2134]

機能追加の説明
GPUとかで動かしたいって方がいるので、その対応としてdynamicを提案する

メリット
dynamicにすることでcuda以外でも使える

デメリット
ユーザーの負担が増える

[Mofa-Xingche]

すみません失礼します
GPUで、もしonnx cudaのstyle ber vits2音声合成をしたら、GPUメモリは.safetensorの音声合成に比べて必要なGPUメモリはどれくらい節約できるとおもいますか？
onnx gpuのメモリ節約効果について

[Googlefan256]

実際に計測しないことにはわかりませんが、動的にslotを読み込んだりアンロードする負荷は間違いなく低いため、slotの読み込み上限を付けることで結果的に複数モデル扱うときのVRAM節約をすることはできるはずです。

[Googlefan256]

そこらへんの実装をすることにしました(python版ではなくdocker版に)
同時にGPUに読み込むモデルに上限を付けることでメモリを節約できる機能です。
公式版と比べてGPUとCPU間の転送コストが低いため、高速に行えるはずです。

[Googlefan256]

そこらへんの実装をすることにしました(python版ではなくdocker版に) 同時にGPUに読み込むモデルに上限を付けることでメモリを節約できる機能です。 公式版と比べてGPUとCPU間の転送コストが低いため、高速に行えるはずです。

python版にも実装できそうです

[Mofa-Xingche]

ありがとうございます。＞＜