benches

бенчмарки нормализации

Запуск:

cargo bench

---

Замеряется NFC и NFKC нормализация.

Тестовые данные находятся в ../test_data/, папки texts и texts_decomposed.

Это просто примеры текстов на разных языках, надёрганые из интернета. Часть текстов — просто машинный перевод с помощью Google Translate.

Группы:

• nfc — NFC-нормализация.
• nfkc — NFKC-нормализация.
• dec — NFC-нормализация NFD-нормализованного текста (полная декомпозиция).

Типы декомпозиции:

• icu – используется библиотека ICU4X
• my – оптимизированный вариант

пример:

cargo bench nfc/my/english