Проекты курса Инженер данных на платформе Yandex Practicum

Проект	Технологии, инструменты, библиотеки
Проверка качества данных. Витрина метрики RFM.	SQL, Common Table Expression, Window Functions, PostgreSQL, cloudbeaver
Модификация DWH. Миграция данных в новую модель.	SQL, Window Functions, PostgreSQL, cloudbeaver
Модификация ETL и витрины. Реализация идемпотентности.	AirFlow, SQL, PostgreSQL, cloudbeaver, bash, pandas, SQLAlchemy, PostgresOperator, BashOperator
Проверки качества данных в ETL процессе	AirFlow, SQL, PostgreSQL
Витрина на DWH из нескольких источников	Airflow, PostgreSQL, MongoDB Compass, pendulum, Jupyter Notebook, bash, SQLAlchemy, PostgresHook
Витрина на данных аналитической БД Vertica	AirFlow, Yandex S3 Storage, Common Table Expression, SQL, Vertica, cloudbeaver, pandas
Spark/PySpark в Hadoop. Работа с HDFS.	Hadoop, Spark, PySpark, YARN, MapReduce, Window Functions, HDFS, Airflow, SparkSubmitOperator, Parquet
Обработка потоковых данных в Spark Streaming	Kafka, PySpark, AirFlow, kcat, Jupyter Notebook, SQL, PostgreSQL, Spark Streaming
Создание сервисов в инфраструктуре Yandex Cloud	Yandex Cloud Services, Datalense, Kubernetes, kubectl, Kafka, kcat, confluent_kafka, flask, Docker Compose, Helm, Redis
Объединение потоков данных. Витрина аналитики.	Yandex S3, DWH, Vertica, boto3, Airflow, TriggerDagRunOperator, Metabase

---