Consultation de la liste des PNOs

Makefile

@@ -47,6 +47,9 @@ clean: docker-env
 check-clean-archi:
 	cd backend/tools && ./check-clean-architecture.sh
 
+update-test-data:
+	cd frontend && node ./scripts/generate_test_data_seeds.mjs
+
 ################################################################################
 # Testing
 

adrs/0004-prior-notifications-architecture-and-typing.md

@@ -0,0 +1,94 @@
+# Architecture de données et typage des préavis
+
+Date: 27/02/2024
+
+## Statut
+
+Résolu.
+
+## Contexte
+
+Le développement de la brique de gestion des préavis dans Monitorfish, en remplacement de Trident qui assurait 
+jusqu'ici cette gestion, nous amène à définir une **architecture de données** pour leur stockage en base de données
+ainsi qu'une **stratégie de typage** permettant la catégorisation de ces préavis à des fins de lecture opérationnelle
+rapide des préavis entrants.
+
+**Concernant l'architecture** : les données provenant de deux sources différentes (logbook pour les préavis des navires
+de plus de 12 m, saisie dans  Monitorfish pour les navires de moins de 12 m), il apparait naturel de stocker ces
+données séparément dans une table correspondant à chaque source :
+- la table `logbook_reports` déjà existante contient déjà les données de préavis qu'il s'agit ici d'exploiter pour les
+  navires >= 12m
+- une nouvelle table `manual_pnos` pour les préavis saisis dans Monitorfish
+
+Le choix qui reste à faire concerne le mode de stockage de l'information de type : en effet, les critères de typage
+(espèces, quantités...) correspondant à chaque type de préavis pouvant évoluer dans le temps, le format de stockage de
+la donnée de type doit être défini en ayant en tête cette variabilité et les questions d'historisation qui en
+découlent.
+
+**Concernant le typage** : plusieurs contraintes rendent la tâche de typage non triviale :
+
+- Les données sont entrées à des **temporalités différentes** (batch chaque minute pour les données logbook, temps réel
+  au moment de la saisie pour les préavis saisis dans l'app)
+- Les données sont écrites en base par des **composants différents** : un `flow` pour les données issues de logbook,
+  le backend pour les données saisies dans l'app
+
+Il faut donc définir quel(s) composant(s) (pipeline et / ou backend) ont la responsabilité du typage, et à quel moment
+(précalcul avec stockage de l'information de type de chaque préavis, ou calcul à la volée au moment de la requête, sans
+ stockage).
+
+#### Stratégie #1 : typage précalculé en batch de tous les PNOs par la pipeline
+
+Dans cette stratégie, c'est un `flow` de la pipeline qui ajoute l'information de type à la fois dans les PNO manuels et
+dans les PNO issus de logbook.
+
+La problématique d'historisation est traitée en stockant dans chaque PNO les informations liées au type.
+
+Avantages :
+- segments des marées passées disponibles
+- performance en requête sur des préavis déjà typés
+- réutilisation du code de typage par la pipeline pour les deux sources de données
+
+Inconvénients :
+- gestion d'un état transitoire en front entre le moment où un préavis est saisi et le moment où la pipeline lui a
+  attribué un type
+- complexité à gérer en cas de modification d'un préavis manuel : il faut signaler à la pipeline qu'il faut recalculer
+  le type du préavis. De ce fait, une incertitude existe à tout moment sur l'exactitude de l'information de type des
+  préavis manuels.
+
+#### Option 2 : typage à la volée par le backend au moment de la requête
+
+Dans cette stratégie, c'est au moment de la requête que les types de préavis sont calculés par le back.
+
+Avantages :
+- réutilisation du code de typage par le backend pour les deux sources de données
+- pas de problème de latence entre saisie d'un préavis et attribution d'un type
+
+Inconvénients :
+- performances possiblement faibles sur des requêtes de larges plages de dates
+- segments de flotte non disponibles sur préavis passés (uniquement segments de la marée en cours)
+
+#### Option 3 : typage précalculé par la pipeline (données logbook) et par le backend (préavis manuels)
+
+Dans cette stratégie :
+- un `flow` de la pipeline ajoute l'information de type dans les PNO issus de logbook.
+- le backend ajoute l'information de type dans les PNO manuels au moment de la saisie
+
+Avantages :
+- segments des marées passées disponibles
+- performance en requête sur des préavis déjà typés
+- pas de problème de latence entre saisie d'un préavis et attribution d'un type
+
+Inconvénients :
+- logique de typage à implémenter à la fois en backend et dans la pipeline
+
+## Décision
+
+La stratégie n°3 a été choisie afin d'avoir à la fois la performance y compris sur de larges volumes de données
+passées, la disponibilité des données de segments des marées passées et éviter les problématiques de latence liées à la stratégie n°1.
+
+![Vue schématique des tables et flux de données de préavis](images/pno_types_architecture.png "Architecture des préavis et de leur types").
+
+## Conséquences
+
+Il faudra tester exhaustivement les logiques de typage dans le backend et dans la pipeline pour s'assurer qu'elles
+sont identiques.

backend/src/main/kotlin/fr/gouv/cnsp/monitorfish/domain/entities/logbook/Catch.kt

@@ -8,6 +8,7 @@ data class Catch(
     var weight: Double? = null,
     @JsonProperty("nbFish")
     var numberFish: Double? = null,
+    /** Species FAO code. */
     var species: String? = null,
     var speciesName: String? = null,
     var faoZone: String? = null,

backend/src/main/kotlin/fr/gouv/cnsp/monitorfish/domain/entities/logbook/Gear.kt

@@ -4,6 +4,7 @@ import com.fasterxml.jackson.annotation.JsonTypeName
 
 @JsonTypeName("gear")
 class Gear() {
+    /** Gear code. */
     var gear: String? = null
     var gearName: String? = null
     var mesh: Double? = null

backend/src/main/kotlin/fr/gouv/cnsp/monitorfish/domain/entities/logbook/LogbookMessage.kt

@@ -11,16 +11,20 @@ data class LogbookMessage(
     val tripNumber: String? = null,
     val referencedReportId: String? = null,
     var isCorrected: Boolean? = false,
+    val isEnriched: Boolean,
     val operationType: LogbookOperationType,
     val operationDateTime: ZonedDateTime,
     val internalReferenceNumber: String? = null,
     val externalReferenceNumber: String? = null,
     val ircs: String? = null,
     val vesselName: String? = null,
+    // ISO Alpha-3 country code
     val flagState: String? = null,
     val imo: String? = null,
     val messageType: String? = null,
+    // Submission date of the report by the vessel
     val reportDateTime: ZonedDateTime? = null,
+    // Reception date of the report by the data center
     val integrationDateTime: ZonedDateTime,
     var acknowledge: Acknowledge? = null,
     var deleted: Boolean? = false,
@@ -30,4 +34,6 @@ data class LogbookMessage(
     val transmissionFormat: LogbookTransmissionFormat,
     val software: String? = null,
     var isSentByFailoverSoftware: Boolean = false,
+    val tripGears: List<Gear>? = listOf(),
+    val tripSegments: List<LogbookTripSegment>? = listOf(),
 )

backend/src/main/kotlin/fr/gouv/cnsp/monitorfish/domain/entities/logbook/LogbookOperationType.kt

@@ -1,8 +1,15 @@
 package fr.gouv.cnsp.monitorfish.domain.entities.logbook
 
 enum class LogbookOperationType {
+    /** Transmission. */
     DAT,
+
+    /** Correction. */
     COR,
+
+    /** Suppression. */
     DEL,
+
+    /** Acquittement. */
     RET,
 }

backend/src/main/kotlin/fr/gouv/cnsp/monitorfish/domain/entities/logbook/LogbookTripSegment.kt

@@ -0,0 +1,10 @@
+package fr.gouv.cnsp.monitorfish.domain.entities.logbook
+
+import com.fasterxml.jackson.annotation.JsonProperty
+
+data class LogbookTripSegment(
+    @JsonProperty("segment")
+    val code: String,
+    @JsonProperty("segmentName")
+    val name: String,
+)

backend/src/main/kotlin/fr/gouv/cnsp/monitorfish/domain/entities/logbook/messages/PNO.kt

@@ -2,6 +2,7 @@ package fr.gouv.cnsp.monitorfish.domain.entities.logbook.messages
 
 import com.fasterxml.jackson.annotation.JsonProperty
 import fr.gouv.cnsp.monitorfish.domain.entities.logbook.Catch
+import fr.gouv.cnsp.monitorfish.domain.entities.prior_notification.PriorNotificationType
 import java.time.ZonedDateTime
 
 class PNO() : LogbookMessageValue {
@@ -11,13 +12,20 @@ class PNO() : LogbookMessageValue {
     var statisticalRectangle: String? = null
     var latitude: Double? = null
     var longitude: Double? = null
+    var pnoTypes: List<PriorNotificationType> = listOf()
     var purpose: String? = null
+
+    /** Port locode. */
     var port: String? = null
     var portName: String? = null
     var catchOnboard: List<Catch> = listOf()
+    var catchToLand: List<Catch> = listOf()
 
     @JsonProperty("predictedArrivalDatetimeUtc")
     var predictedArrivalDateTime: ZonedDateTime? = null
 
+    @JsonProperty("predictedLandingDatetimeUtc")
+    var predictedLandingDatetime: ZonedDateTime? = null
+
     var tripStartDate: ZonedDateTime? = null
 }

backend/src/main/kotlin/fr/gouv/cnsp/monitorfish/domain/entities/port/Port.kt

@@ -4,7 +4,8 @@ data class Port(
     val locode: String,
     val name: String,
     val facade: String? = null,
-    val faoAreas: List<String> = listOf(),
+    val faoAreas: List<String> = emptyList(),
     val latitude: Double? = null,
     val longitude: Double? = null,
+    val region: String? = null,
 )

backend/src/main/kotlin/fr/gouv/cnsp/monitorfish/domain/entities/prior_notification/PriorNotification.kt

@@ -0,0 +1,16 @@
+package fr.gouv.cnsp.monitorfish.domain.entities.prior_notification
+
+import fr.gouv.cnsp.monitorfish.domain.entities.logbook.LogbookMessage
+import fr.gouv.cnsp.monitorfish.domain.entities.port.Port
+import fr.gouv.cnsp.monitorfish.domain.entities.risk_factor.VesselRiskFactor
+import fr.gouv.cnsp.monitorfish.domain.entities.vessel.Vessel
+
+data class PriorNotification(
+    val id: Long,
+    val logbookMessage: LogbookMessage,
+    val port: Port? = null,
+    val reportingsCount: Int? = null,
+    val seaFront: String? = null,
+    val vessel: Vessel,
+    val vesselRiskFactor: VesselRiskFactor?,
+)

backend/src/main/kotlin/fr/gouv/cnsp/monitorfish/domain/entities/prior_notification/PriorNotificationType.kt

@@ -0,0 +1,10 @@
+package fr.gouv.cnsp.monitorfish.domain.entities.prior_notification
+
+import com.fasterxml.jackson.annotation.JsonProperty
+
+data class PriorNotificationType(
+    val hasDesignatedPorts: Boolean,
+    val minimumNotificationPeriod: Double,
+    @JsonProperty("pnoTypeName")
+    val name: String,
+)

backend/src/main/kotlin/fr/gouv/cnsp/monitorfish/domain/entities/vessel/Vessel.kt

@@ -11,6 +11,7 @@ data class Vessel(
     val ircs: String? = null,
     val externalReferenceNumber: String? = null,
     val vesselName: String? = null,
+    // ISO Alpha-2 country code
     val flagState: CountryCode,
     val width: Double? = null,
     val length: Double? = null,
@@ -37,11 +38,12 @@ data class Vessel(
     val underCharter: Boolean? = null,
 ) {
     fun getNationalIdentifier(): String {
-        val internalReferenceNumberCountryCode = LIKELY_CONTROLLED_COUNTRY_CODES.find { countryAlpha3 ->
-            internalReferenceNumber?.contains(
-                countryAlpha3,
-            ) ?: false
-        }
+        val internalReferenceNumberCountryCode =
+            LIKELY_CONTROLLED_COUNTRY_CODES.find { countryAlpha3 ->
+                internalReferenceNumber?.contains(
+                    countryAlpha3,
+                ) ?: false
+            }
         val identifier = internalReferenceNumber?.replace("${internalReferenceNumberCountryCode}000", "") ?: ""
 
         if (districtCode.isNullOrEmpty()) {
@@ -52,47 +54,48 @@ data class Vessel(
     }
 }
 
-val LIKELY_CONTROLLED_COUNTRY_CODES = listOf(
-    CountryCode.FR.alpha3,
-    CountryCode.RU.alpha3,
-    CountryCode.KR.alpha3,
-    CountryCode.JP.alpha3,
-    CountryCode.LY.alpha3,
-    CountryCode.VE.alpha3,
-    CountryCode.SC.alpha3,
-    CountryCode.AU.alpha3,
-    CountryCode.CN.alpha3,
-    CountryCode.MG.alpha3,
-    CountryCode.BR.alpha3,
-    CountryCode.PL.alpha3,
-    CountryCode.VU.alpha3,
-    CountryCode.KM.alpha3,
-    CountryCode.MC.alpha3,
-    CountryCode.BW.alpha3,
-    CountryCode.AI.alpha3,
-    CountryCode.LK.alpha3,
-    CountryCode.TW.alpha3,
-    CountryCode.TT.alpha3,
-    CountryCode.FO.alpha3,
-    CountryCode.GY.alpha3,
-    CountryCode.PA.alpha3,
-    CountryCode.SX.alpha3,
-    CountryCode.TN.alpha3,
-    CountryCode.TR.alpha3,
-    CountryCode.AL.alpha3,
-    CountryCode.GD.alpha3,
-    CountryCode.DZ.alpha3,
-    CountryCode.SX.alpha3,
-    CountryCode.BE.alpha3,
-    CountryCode.DK.alpha3,
-    CountryCode.DE.alpha3,
-    CountryCode.EE.alpha3,
-    CountryCode.IE.alpha3,
-    CountryCode.ES.alpha3,
-    CountryCode.IT.alpha3,
-    CountryCode.NL.alpha3,
-    CountryCode.NO.alpha3,
-    CountryCode.PT.alpha3,
-    CountryCode.SE.alpha3,
-    CountryCode.GB.alpha3,
-)
+val LIKELY_CONTROLLED_COUNTRY_CODES =
+    listOf(
+        CountryCode.FR.alpha3,
+        CountryCode.RU.alpha3,
+        CountryCode.KR.alpha3,
+        CountryCode.JP.alpha3,
+        CountryCode.LY.alpha3,
+        CountryCode.VE.alpha3,
+        CountryCode.SC.alpha3,
+        CountryCode.AU.alpha3,
+        CountryCode.CN.alpha3,
+        CountryCode.MG.alpha3,
+        CountryCode.BR.alpha3,
+        CountryCode.PL.alpha3,
+        CountryCode.VU.alpha3,
+        CountryCode.KM.alpha3,
+        CountryCode.MC.alpha3,
+        CountryCode.BW.alpha3,
+        CountryCode.AI.alpha3,
+        CountryCode.LK.alpha3,
+        CountryCode.TW.alpha3,
+        CountryCode.TT.alpha3,
+        CountryCode.FO.alpha3,
+        CountryCode.GY.alpha3,
+        CountryCode.PA.alpha3,
+        CountryCode.SX.alpha3,
+        CountryCode.TN.alpha3,
+        CountryCode.TR.alpha3,
+        CountryCode.AL.alpha3,
+        CountryCode.GD.alpha3,
+        CountryCode.DZ.alpha3,
+        CountryCode.SX.alpha3,
+        CountryCode.BE.alpha3,
+        CountryCode.DK.alpha3,
+        CountryCode.DE.alpha3,
+        CountryCode.EE.alpha3,
+        CountryCode.IE.alpha3,
+        CountryCode.ES.alpha3,
+        CountryCode.IT.alpha3,
+        CountryCode.NL.alpha3,
+        CountryCode.NO.alpha3,
+        CountryCode.PT.alpha3,
+        CountryCode.SE.alpha3,
+        CountryCode.GB.alpha3,
+    )

backend/src/main/kotlin/fr/gouv/cnsp/monitorfish/domain/filters/LogbookReportFilter.kt

@@ -0,0 +1,16 @@
+package fr.gouv.cnsp.monitorfish.domain.filters
+
+data class LogbookReportFilter(
+    val flagStates: List<String>? = null,
+    val isLessThanTwelveMetersVessel: Boolean? = null,
+    val lastControlledAfter: String? = null,
+    val lastControlledBefore: String? = null,
+    val portLocodes: List<String>? = null,
+    val priorNotificationTypes: List<String>? = null,
+    val searchQuery: String? = null,
+    val specyCodes: List<String>? = null,
+    val tripSegmentSegments: List<String>? = null,
+    val tripGearCodes: List<String>? = null,
+    val willArriveAfter: String? = null,
+    val willArriveBefore: String? = null,
+)

backend/src/main/kotlin/fr/gouv/cnsp/monitorfish/domain/filters/ReportingFilter.kt

@@ -0,0 +1,10 @@
+package fr.gouv.cnsp.monitorfish.domain.filters
+
+import fr.gouv.cnsp.monitorfish.domain.entities.reporting.ReportingType
+
+data class ReportingFilter(
+    val isArchived: Boolean? = null,
+    val isDeleted: Boolean? = null,
+    val types: List<ReportingType>? = null,
+    val vesselInternalReferenceNumbers: List<String>? = null,
+)