[Unités] Pouvoir créer une mission à partir d'une unité

.github/workflows/cicd-data-processing.yml

@@ -6,7 +6,7 @@ on:
       - "datascience/**"
       - "backend/src/main/resources/db/migration/**"
       - ".github/workflows/*"
-      - "infra/docker/Dockerfile.DataPipeline"
+      - "infra/docker/datapipeline/**"
       - "Makefile"
   schedule:
     - cron: "38 11 */3 * *"
@@ -56,7 +56,7 @@ jobs:
           context: .
           load: true
           builder: ${{ steps.buildx.outputs.name }}
-          file: infra/docker/Dockerfile.DataPipeline
+          file: infra/docker/datapipeline/Dockerfile
           push: false
           tags: monitorfish-pipeline:${{ env.VERSION }}
           cache-from: type=local,src=/tmp/.buildx-cache-pipeline

.github/workflows/cicd.yml

@@ -14,7 +14,7 @@ on:
       - "**.yml"
       - ".github/workflows/cicd.yml"
       - "infra/configurations/**.properties"
-      - "infra/docker/DockerfileBuildApp"
+      - "infra/docker/app/**"
       - "**.sql"
       - "backend/pom.xml"
       - "backend/build.gradle.kts"
@@ -156,7 +156,7 @@ jobs:
           context: .
           load: true
           builder: ${{ steps.buildx.outputs.name }}
-          file: infra/docker/DockerfileBuildApp
+          file: infra/docker/app/Dockerfile
           push: false
           tags: monitorfish-app:${{ env.VERSION }}
           cache-from: type=local,src=/tmp/.buildx-cache-app
@@ -202,7 +202,6 @@ jobs:
       ACTIONS_ALLOW_UNSECURE_COMMANDS: true
       CYPRESS_PROJECT_ID: ${{ secrets.PROJECT_ID }}
       CYPRESS_RECORD_KEY: ${{ secrets.CYPRESS_RECORD_KEY }}
-      DB_PUBLIC_PORT: 5432
       ENV_PROFILE: ${{ needs.version.outputs.ENV_PROFILE }}
       GITHUB_TOKEN: ${{ secrets.GITHUB_TOKEN }}
       MONITORFISH_VERSION: ${{ needs.version.outputs.VERSION }}
@@ -260,7 +259,6 @@ jobs:
     runs-on: ubuntu-22.04
     env:
       ACTIONS_ALLOW_UNSECURE_COMMANDS: true
-      DB_PUBLIC_PORT: 5432
       ENV_PROFILE: ${{ needs.version.outputs.ENV_PROFILE }}
       GITHUB_TOKEN: ${{ secrets.GITHUB_TOKEN }}
       MONITORFISH_VERSION: ${{ needs.version.outputs.VERSION }}
@@ -279,9 +277,6 @@ jobs:
         run: |
           echo "${{ secrets.GITHUB_TOKEN }}" | docker login docker.pkg.github.com -u ${GITHUB_ACTOR} --password-stdin
 
-      - name: Run docker images
-        run: make docker-compose-puppeteer-up
-
       - name: Setup Node.js
         uses: actions/setup-node@v4
         with:
@@ -293,6 +288,9 @@ jobs:
         run: npm ci
         working-directory: ./frontend
 
+      - name: Run docker images
+        run: make docker-compose-puppeteer-up
+
       - name: Install Firefox
         run: npx puppeteer browsers install firefox
 

.gitignore

@@ -143,10 +143,23 @@ dist
 ################################################################################
 # Custom
 
-# Env variables & configuration files
-datascience/.env
+# Env variables
+/datascience/.env
+# Our .env files follow the `import-meta-env` convention:
+# - `.env`: git-ignored, generated from `.env.local.defaults`, overriden by `.env.local`.
+# - `.env.example`: git-commited, only for /frontend, used to enforce the env that must be injected at runtime via `import-meta-env`.
+# - `.env.local`: git-ignored, used when necessary to override `.env.local.defaults` default values.
+# - `.env.local.defaults`: git-commited, used to share default values with Github contributors.
+# https://import-meta-env.org/api.html#import-meta-env-prepare
+# All explicited here for documentation purposes:
+/frontend/.env
+/frontend/.env.local
+/infra/docker/.env
+/infra/docker/.env.local
+
+# Configuration files
 github_token.txt
-infra/remote/backup/pg_backup.config
+/infra/remote/backup/pg_backup.config
 
 # Notebooks
 /datascience/notebooks
@@ -187,4 +200,4 @@ backend/.gradle
 .gradle
 
 # Ignore Gradle build output directory
-backend/build
+backend/build

Makefile

@@ -1,51 +1,78 @@
 INFRA_FOLDER="$(shell pwd)/infra/configurations/"
 HOST_MIGRATIONS_FOLDER=$(shell pwd)/backend/src/main/resources/db/migration
 
-.PHONY: install init-sig run-front run-back docker-build docker-tag docker-push check-clean-archi test restart-app
+.PHONY: clean install test
+
+docker-env:
+	cd ./infra/docker && ../../frontend/node_modules/.bin/import-meta-env-prepare -u -x ./.env.local.defaults\
+
+################################################################################
+# Local Development
 
-# DEV commands
 install:
 	cd ./frontend && npm i
+
 run-front:
 	cd ./frontend && npm run dev
+
 run-back: run-stubbed-apis
 	docker compose up -d --quiet-pull --wait db
 	cd backend && ./gradlew bootRun --args='--spring.profiles.active=local --spring.config.additional-location=$(INFRA_FOLDER)'
+
+run-back-with-monitorenv: run-monitorenv
+	docker compose up -d --quiet-pull --wait db
+	cd backend && MONITORENV_URL=http://localhost:9880 ./gradlew bootRun --args='--spring.profiles.active=local --spring.config.additional-location=$(INFRA_FOLDER)'
+
+run-monitorenv: docker-env
+	docker compose \
+		--project-directory ./infra/docker \
+		--env-file ./infra/docker/.env \
+		-f ./infra/docker/docker-compose.monitorenv.dev.yml \
+		up -d monitorenv_app
+
 run-stubbed-apis:
 	docker compose stop geoserver-monitorenv-stubs
 	docker compose up -d --quiet-pull --wait geoserver-monitorenv-stubs
+
 stop-stubbed-apis:
 	docker stop cypress-geoserver-1
-erase-db:
+
+clean: docker-env
+	rm -Rf ./backend/target
 	docker compose down -v
-	docker compose -f ./frontend/cypress/docker-compose.yml down -v
-	docker compose -f ./frontend/puppeteer/docker-compose.dev.yml down -v
+	docker compose --env-file ./infra/docker/.env -f ./infra/docker/docker-compose.monitorenv.dev.yml down -v
+	docker compose --env-file ./infra/docker/.env -f ./infra/docker/docker-compose.cypress.yml down -v
+	docker compose -f ./infra/docker/docker-compose.puppeteer.yml down -v
+
 check-clean-archi:
 	cd backend/tools && ./check-clean-architecture.sh
+
+################################################################################
+# Testing
+
 test: test-back
 	cd frontend && CI=true npm run test:unit -- --coverage
+
 test-back: check-clean-archi
 	cd backend && ./gradlew clean test
-clean:
-	make erase-db
-	rm -Rf ./backend/target
-dev: clean
-	make run-back
+
 lint-back:
 	cd ./backend && ./gradlew ktlintFormat | grep -v \
 		-e "Exceeded max line length" \
 		-e "Package name must not contain underscore" \
 		-e "Wildcard import"
-run-back-for-puppeteer: run-stubbed-apis
+
+run-back-for-puppeteer: docker-env run-stubbed-apis
 	docker compose up -d --quiet-pull --wait db
-	docker compose -f ./frontend/puppeteer/docker-compose.dev.yml up -d
-	cd backend && MONITORENV_URL=http://localhost:8882 ./gradlew bootRun --args='--spring.profiles.active=local --spring.config.additional-location=$(INFRA_FOLDER)'
+	docker compose -f ./infra/docker/docker-compose.puppeteer.yml up -d monitorenv-app
+	cd backend && MONITORENV_URL=http://localhost:9880 ./gradlew bootRun --args='--spring.profiles.active=local --spring.config.additional-location=$(INFRA_FOLDER)'
+
 run-front-for-puppeteer:
 	cd ./frontend && npm run dev-puppeteer
 
 # CI commands - app
 docker-build:
-	docker build --no-cache -f infra/docker/DockerfileBuildApp . -t monitorfish-app:$(VERSION) \
+	docker build --no-cache -f infra/docker/app/Dockerfile . -t monitorfish-app:$(VERSION) \
 		--build-arg VERSION=$(VERSION) \
 		--build-arg ENV_PROFILE=$(ENV_PROFILE) \
 		--build-arg GITHUB_SHA=$(GITHUB_SHA) \
@@ -58,22 +85,25 @@ docker-tag:
 docker-push:
 	docker push docker.pkg.github.com/mtes-mct/monitorfish/monitorfish-app:$(VERSION)
 docker-compose-down:
-	docker compose -f ./frontend/cypress/docker-compose.yml down -v
+	docker compose -f ./infra/docker/docker-compose.cypress.yml down -v
 docker-compose-up:
-	docker compose -f ./frontend/cypress/docker-compose.yml up -d --quiet-pull db
-	docker compose -f ./frontend/cypress/docker-compose.yml up --quiet-pull flyway
-	docker compose -f ./frontend/cypress/docker-compose.yml up -d --quiet-pull app
+	docker compose -f ./infra/docker/docker-compose.cypress.yml up -d --quiet-pull db
+	docker compose -f ./infra/docker/docker-compose.cypress.yml up --quiet-pull flyway
+	docker compose -f ./infra/docker/docker-compose.cypress.yml up -d --quiet-pull app
 	@printf 'Waiting for backend app to be ready'
 	@until curl --output /dev/null --silent --fail "http://localhost:8880/bff/v1/healthcheck"; do printf '.' && sleep 1; done
 
-docker-compose-puppeteer-up:
-	docker compose -f ./frontend/puppeteer/docker-compose.yml up -d
-	@printf 'Waiting for backend app to be ready'
+docker-compose-puppeteer-up: docker-env
+	docker compose -f ./infra/docker/docker-compose.puppeteer.yml up -d monitorenv-app
+	docker compose -f ./infra/docker/docker-compose.puppeteer.yml up -d monitorfish-app
+	@printf 'Waiting for MonitorEnv app to be ready'
+	@until curl --output /dev/null --silent --fail "http://localhost:9880/bff/v1/healthcheck"; do printf '.' && sleep 1; done
+	@printf 'Waiting for MonitorFish app to be ready'
 	@until curl --output /dev/null --silent --fail "http://localhost:8880/bff/v1/healthcheck"; do printf '.' && sleep 1; done
 
 # CI commands - data pipeline
 docker-build-pipeline:
-	docker build -f "infra/docker/Dockerfile.DataPipeline" . -t monitorfish-pipeline:$(VERSION)
+	docker build -f ./infra/docker/datapipeline/Dockerfile . -t monitorfish-pipeline:$(VERSION)
 docker-test-pipeline:
 	docker run --network host -v /var/run/docker.sock:/var/run/docker.sock -u monitorfish-pipeline:$(DOCKER_GROUP) --env-file datascience/.env.test --env HOST_MIGRATIONS_FOLDER=$(HOST_MIGRATIONS_FOLDER) monitorfish-pipeline:$(VERSION) coverage run -m pytest --pdb tests
 docker-tag-pipeline:
@@ -120,3 +150,9 @@ build-docs-locally:
 	cd datascience/docs && \
 	poetry run sphinx-build -b html source build/html/en && \
 	poetry run sphinx-build -b html -D language=fr source build/html/fr
+
+################################################################################
+# Alias commands
+
+dev: clean run-back
+dev-monitorenv: clean run-back-with-monitorenv

adrs/0003-docker-and-frontend-env-vars-strategy.md

@@ -0,0 +1,109 @@
+# Stratégie de gestion des variables d'environnement de Docker et du Frontend
+
+Date: 21/02/2024
+
+## Statut
+
+Résolu.
+
+## Contexte
+
+Nous commitions nos fichiers de variables d'environnement avec des valeurs par défaut jusqu'alors dans
+`/infra/configuration/.env.[environment]`.
+
+Mais deux besoins sont apparus :
+
+- Sécuriser les variables d'environnement qui ne sont pas sensées être committées (même si les clés que nous partagions
+  ne représentaient pas de risque particulier car ce sont des clés d'accès à des APIs de données publiques).
+- Pouvoir surcharger localement les variables d'environnement partagées pour les adapter à des besoins de développement
+  spécifiques (ex : activer/désactiver certains feature flags).
+
+Tout en conservant la possibilité de partager les variables d'environnement partagées entre les membres de l'équipe
+ainsi que d'éventuel.les contributeur.icess open-source.
+
+Le problème est qu'il existe différentes stratégie et conventions concernant l'orgnisation des fichiers `.env*`,
+dépendants du framework, des librairies de parsing, des outils de build et de runtime utilisés. Sans qu'aucune ne soit
+devenue une référence de facto.
+
+### Dotenv
+
+- https://www.dotenv.org/docs/security
+
+Dotenv a un stratégie basée simplement sur des `.env` et `.env.[environment]` (ex : `.env.production`), qui doivent être
+ignorés par Git et partagés via un `.env.vault` qui lui est committé. Un `.env.me`, lui aussi ignoré par Git, est unique
+à chaque contributeur.ice et permet de dévérrouiller le `.env.vault`.
+
+> The .env.vault file uniquely identifies your project in dotenv-vault. You SHOULD commit this file to source control.
+> It is safe to do so. Aside: DON'T commit your .env or .env.me to source control.
+
+### Vite
+
+- https://vitejs.dev/guide/env-and-mode.html#env-variables-and-modes
+
+Vite a une stratégie basée sur des `.env` et `.env.[mode]` (i.e `.env.production`), qui sont partageables via Git alors
+que les `.env.local` et `.env.[mode].local` soivent ignorés par Git. Les `.env.local*` permettent de surcharger
+localement les `.env*` partagés.
+
+> ```
+> .env                # loaded in all cases
+> .env.local          # loaded in all cases, ignored by git
+> .env.[mode]         # only loaded in specified mode
+> .env.[mode].local   # only loaded in specified mode, ignored by git
+> ```
+
+### `import-meta-env`
+
+Cette librairie regroupe un ensemble d'outils et de librairies pour injecter des variables d'environnements au runtime
+dans une SPA. Comme expliqué dans l'[ADR 0001](0001-frontend-runtime-env-var-injection.md), nous avons choisi d'utiliser
+`@import-meta-env/cli` pour injecter ces variables d'environnement dans notre Frontend.
+
+Pour rappel, deux fichiers y sont attendus par défaut :
+
+- `.env.example` : committé par Git, sert à définir les **variables** d'environnement requises par l'application.
+- `.env` : pas de précision concernant Git, sert à définir les **valeurs** par défaut des variables d'environnement.
+
+Il existe cependant un autre outil, `@import-meta-env/prepare`, qui permet de générer des fichiers `.env` à la volée à
+partir d'un fichier `.env.local.defaults` partagé, surchargé d'un fichier `.env.local` s'il est présent :
+
+- `.env.local.defaults` : committé via Git, sert à définir les **valeurs** par défaut des variables d'environnement.
+- `.env.local` : ignoré par Git, sert à surcharger localement les valeurs par défaut.
+- `.env` : ignoré par Git, généré automatiquement à partir des deux fichiers précédents par `import-meta-env-prepare`.
+
+> ```
+> Usage: import-meta-env-prepare [options]
+>
+> Generate `.env` file from `.env.*` files.
+>
+> Options:
+>   -e, --env <path>        .env file path to write (default: ".env")
+>   -x, --example <path>    .env.example file path to read
+>   -p, --path <path...>    .env.* file paths to read (default:
+>                           [".env.local.defaults",".env.local"])
+>   -u, --user-environment  whether to load user environment variables (i.e.,
+>                           process.env.*) (default: false)
+> ```
+
+## Décision
+
+Comme il n'existe pas de convention générale, et que nous avons déjà choisi d'utiliser `import-meta-env` pour
+implémenter et injecter les variables d'environnement du Frontend, nous avons choisi ce qui nous semblait le plus simple
+en utilisant aussi leur outil `@import-meta-env/prepare`. Cela comprends leur convention et s'applique maintenant aussi
+aux variables d'environnement de Docker, pas soucis de cohérence.
+
+## Conséquences
+
+Nous nous retrouvons donc avec cette structure :
+
+| Fichier                             | Contexte | Git     | Description                                                           |
+| ----------------------------------- | -------- | ------- | --------------------------------------------------------------------- |
+| `/frontend/.env.example`            | Frontend | OUI     | Définit les **variables** d'environnement requises par l'application. |
+| `/frontend/.env.local.defaults`     | Frontend | OUI     | Définit les **valeurs** par défaut des variables d'environnement.     |
+| `/frontend/.env.local`              | Frontend | **NON** | Surcharge localement les valeurs par défaut. Non obligatoire.         |
+| `/frontend/.env`                    | Frontend | **NON** | Automatiquement généré (`.env.local.defaults` + .`.env.local`).       |
+| `/infra/docker/.env.local.defaults` | Docker   | OUI     | Définit les **valeurs** par défaut des variables d'environnement.     |
+| `/infra/docker/.env.local`          | Docker   | **NON** | Surcharge localement les valeurs par défaut. Non obligatoire.         |
+| `/infra/docker/.env`                | Docker   | **NON** | Automatiquement généré (`.env.local.defaults` + .`.env.local`).       |
+
+> [!NOTE]
+> Vous noterez qu'il n'y a pas de `.env.example` pour les variables d'environnement de Docker. Le `.env.example` ne sert
+> en effet qu'à valider l'injection des variables d'environnement au runtime, ce qui n'a pas de sens pour Docker.

backend/scripts/run.sh

@@ -5,7 +5,7 @@ if [ ! -f mvnw ]; then
     exit 1
 fi
 
-SPRING_PROFILES_ACTIVE=local
+SPRING_PROFILES_ACTIVE=${1:-local}
 INFRA_FOLDER="$(pwd)/../infra/configurations/"
 
 ./mvnw spring-boot:run -Dspring-boot.run.arguments="--spring.config.additional-location=$INFRA_FOLDER" -Dspring-boot.run.profiles="$SPRING_PROFILES_ACTIVE"