Skip to content

Latest commit

 

History

History
36 lines (20 loc) · 1.56 KB

README.md

File metadata and controls

36 lines (20 loc) · 1.56 KB

OCHOBA analitycal tools

OAT

В данном проекте собраны коды, для поднятия аналитической платформы для работы с данными из постов и комментариев сайтов ОСНОВА: vc.ru, tjournal.ru, dtf.ru

Платформа

Веб-сервис: https://share.streamlit.io/ekhusainov/made2021_project_visualisation/main

Демо-ролик с представлением проекта: https://drive.google.com/file/d/1UbzhiI7TqXMiZ6fNnZtxcxc4CMkLMOAp/view?usp=sharing

Данные

Собранные данные (по результатам загрузки на конец 3 квартала 2021 года: ~1.5 миллиона файлов, ~75 Гб).

Архивы данных доступны по ссылке: https://drive.google.com/drive/folders/1wHA5kRxBshNtspgZf-bK5y2LC4uCz

Содержимое репозитория

  • data_unladong

​ Код для скачивания постов и комментариев с сайтов

  • graph_construction

​ Код для создания графов, на основе скачанной информации о постах и комментариях

  • topic_extraction

​ Код для определения релевантных топиков в постах на основе LDA

  • webservice

​ Код для поднятия веб-сервиса на базе платформу Streamlitw