O projeto que tem como principal objetivo fazer consultas em notícias sobre tecnologia. As notícias podem ser obtidas através da raspagem do blog da Trybe: https://blog.betrybe.com.
Projeto feito enquanto estudante da Trybe.
- Utilizar o terminal interativo do Python
- Aplicar técnicas de raspagem de dados
- Extrair dados de conteúdo HTML
- Armazenar os dados obtidos em um banco de dados
- tech_news/analyzer/ratings.py
- tech_news/analyzer/search_engine.py
- tech_news/menu.py
- tech_news/scraper.py
- Clone o repositório:
git@github.com:mayukuni/tech-news.git
- Entre na pasta do repositório:
cd tech-news
- Criar o ambiente virtual:
python3 -m venv .venv
- Ativar o ambiente virtual:
source .venv/bin/activate
- Instalar as dependências no ambiente virtual:
python3 -m pip install -r dev-requirements.txt
- Caso queira desativar o ambiente virtual:
deactivate
- Para rodar o MongoDB via Docker:
docker-compose up -d mongodb
- Dentro do terminal Python, execute a função
python3 -i tech_news/scraper.py
- Invoque as funções utilizando diferentes parâmetros:
html = fetch("url_da_noticia")
e depoisscrape_news(html)