Погрузитесь в глубины BERT с помощью мощных инструментов интерпретации.
Особенности • Установка • Использование • Требования • Структура • Лицензия
- 🧠 Анализ BERT: Загрузка и использование предобученных моделей BERT
- 💬 Интерактивный режим: Анализ текстовых сообщений в реальном времени
- 👁️ Визуализация внимания: Наглядное представление механизма внимания BERT
- 🔍 Integrated Gradients: Глубокий анализ важности токенов
- 🛠️ Интеграция с LIT: Расширенный анализ с помощью Language Interpretability Tool
- ! Длина тензоров: 512
-
Клонирование репозитория:
git clone https://github.com/wearetyomsmnv/berterpretation/ cd berterpretation
-
Создание виртуального окружения:
python -m venv venv source venv/bin/activate # На Windows: venv\Scripts\activate
-
Установка зависимостей:
pip install -r requirements.txt
-
Настройка меток и цветов для них:
Каждая модель умеет классифицровать по определённым меткам, их необходимо прописать в коде перед запуском скрипта:
src/scripts.py
valid_labels = ["about", "........ добавьте свои"]
- в этой строке укажите свои метки
Также, вы можете определить цвета для меток:
src/scripts.py
color_map = {
'humor': Fore.CYAN,
'своя_метка': Fore.YELLOW,
'своя_метка': Fore.GREEN,
'своя_метка': Fore.LIGHTGREEN_EX,
'своя_метка': Fore.LIGHTBLUE_EX,
'своя_метка': Fore.LIGHTCYAN_EX,
'своя_метка': Fore.LIGHTYELLOW_EX,
'своя_метка': Fore.LIGHTMAGENTA_EX,
'своя_метка': Fore.LIGHTRED_EX,
'своя_метка': Fore.LIGHTWHITE_EX,
'своя_метка': Fore.MAGENTA,
'своя_метка': Fore.LIGHTMAGENTA_EX,
'своя_метка': Fore.RED,
'своя_метка': Fore.LIGHTRED_EX,
'своя_метка': Fore.BLUE,
'своя_метка': Fore.LIGHTBLUE_EX,
'своя_метка': Fore.CYAN,
'своя_метка': Fore.LIGHTCYAN_EX,
'своя_метка': Fore.BLUE,
'своя_метка': Fore.WHITE,
'своя_метка': Fore.RED,
'своя_метка': Fore.LIGHTRED_EX
}
- меняем на свои метки, тем самым окрашивая их
python main.py --interactive --model path/to/your/model
python main.py --interactive --model path/to/your/model --check_security
python main.py --lit --model path/to/your/model
python main.py --device [gpu,cpu]
- Python 3.7+
- PyTorch
- Transformers
- Captum
- Matplotlib
- textattack
Полный список зависимостей
См. файл requirements.txt
berterpretation/
├── src/ # Скрипты
├── main.py # Основной скрипт
├── README.md # Документация
└── requirements.txt # Зависимости
Этот проект лицензирован под MIT License.
Мы приветствуем вклад сообщества! Если у вас есть идеи для улучшения:
- Форкните репозиторий
- Создайте свою ветку (
git checkout -b feature/AmazingFeature
) - Зафиксируйте изменения (
git commit -m 'Add some AmazingFeature'
) - Отправьте изменения (
git push origin feature/AmazingFeature
) - Откройте Pull Request
- Артём Семенов - wearetyomsmnv
Создано с ❤️, wearetyomsmnv.