V2.1 Release

.github/workflows/build.yml

@@ -0,0 +1,172 @@
+name: build-extract-actions
+run-name: Testing Extract after pull request by ${{ github.actor }}
+on: 
+    pull_request:
+        types: [opened, reopened]
+
+jobs:
+    build-extract:
+        runs-on: ubuntu-latest
+        steps:
+            - name: Download the code
+              uses: actions/checkout@v4
+
+            - name: Install JDK 17
+              uses: actions/setup-java@v4
+              with:
+                  distribution: 'temurin'
+                  java-version: '17'
+                  cache: maven
+
+            - name: Install NodeJS
+              uses: actions/setup-node@v4
+              with:
+                  node-version: 20
+                  cache: 'npm'
+                  cache-dependency-path: extract/package.json
+
+            - name: Create folder for Yarn executable
+              run: mkdir -p /home/runner/work/extract/extract/extract/.yarn/releases
+              working-directory: /home/runner/work/extract/extract/extract            
+
+            - name: Enable Corepack
+              run: corepack enable
+              working-directory: /home/runner/work/extract/extract/extract
+
+            - name: Install Yarn
+              run: yarn set version stable
+              working-directory: /home/runner/work/extract/extract/extract
+
+            - name: Make dependencies script executable
+              run: chmod +x install_dependencies.sh
+              working-directory: /home/runner/work/extract/extract/extract
+
+            - name: Allow mutable Yarn installs
+              run: yarn config set enableImmutableInstalls false
+              working-directory: /home/runner/work/extract/extract/extract
+
+            - name: Install JavaScript dependencies
+              run: ./install_dependencies.sh
+              working-directory: /home/runner/work/extract/extract/extract
+
+            - name: Build the code
+              run: mvn -q package -DskipTests=true --batch-mode
+
+            - name: Upload artifact for deployment job
+              uses: actions/upload-artifact@v4
+              with:
+                  name: java-app
+                  path: '/home/runner/work/extract/extract/extract/target/*.war'
+
+    test-extract:
+        needs: build-extract
+        runs-on: ubuntu-latest
+        steps:
+             - name: Download the code
+               uses: actions/checkout@v4
+
+             - name: Install JDK 17
+               uses: actions/setup-java@v4
+               with:
+                   distribution: 'temurin'
+                   java-version: '17'
+                   cache: maven
+
+             - name: Install Chromium (for functional tests)
+               uses: browser-actions/setup-chrome@v1
+
+             - name: Download artifact generated in build job
+               uses: actions/download-artifact@v4
+               with:
+                   name: java-app
+                   path: /tmp/
+
+             - name: Rename artifact file to version-agnostic name
+               run: find /tmp -maxdepth 1 -type f -name extract*.war | xargs -I {} mv {} /tmp/extract.war
+
+             - name: Create local Extract folders
+               run: mkdir -p /tmp/log/extract; mkdir -p /tmp/log/tomcat; mkdir -p /tmp/extract/orders                       
+
+             - name: Give all permissions on Extract log folder
+               run: chmod 0777 /tmp/log/extract
+
+             - name: Give all permissions on Extract order folders (to create data during tests)
+               run: chmod 0777 /tmp/extract/orders
+
+             - name: Make FME Desktop dummy executable (for integration tests)
+               run: chmod +x /home/runner/work/extract/extract/extract/src/test/java/ch/asit_asso/extract/integration/taskplugins/FmeDesktopTest
+
+             - name: Running Docker Compose file with test containers (for functional tests)
+               uses: hoverkraft-tech/compose-action@v1.5.1
+               with:
+                   compose-file: "./docker-compose-test.yaml"
+                   up-flags: "--wait"
+
+             - name: Execute unit tests
+               run: mvn -q test -Punit-tests --batch-mode --fail-at-end
+
+             - name: Execute integration tests
+               run: mvn -q verify -Pintegration-tests --batch-mode
+
+             - name: Wait on Extract application deployment
+               uses: iFaxity/wait-on-action@v1.1.0
+               with:
+                   resource: http://localhost:8080/extract/login
+                   interval: 5000
+                   timeout: 150000
+                   verbose: true
+
+             - name: Execute functional tests
+               run: mvn -q verify -Pfunctional-tests --batch-mode
+
+             # - name: "Publish test results"
+               # if: success() || failure()
+               # uses: scacap/action-surefire-report@v1
+
+             - name: "Publish unit tests results"
+               uses: dorny/test-reporter@v1
+               if: success() || failure()
+               with:
+                   name: "Unit tests"
+                   path: "**/surefire-reports/TEST-*.xml"
+                   reporter: "java-junit"
+
+             - name: "Publish integration tests results"
+               uses: dorny/test-reporter@v1
+               if: success() || failure()
+               with:
+                   name: "Integration tests"
+                   path: "**/failsafe-reports/TEST-*.integration.*.xml"
+                   reporter: "java-junit"
+
+             - name: "Publish functional test results"
+               uses: dorny/test-reporter@v1
+               if: success() || failure()
+               with:
+                   name: "Functional tests"
+                   path: "**/failsafe-reports/TEST-*.functional.*.xml"
+                   reporter: "java-junit"
+
+             # - name: Change tomcat log permissions (so we can upload them)
+               # if: always()
+               # run: sudo chmod a+r *.*
+               # working-directory: /tmp/log/tomcat
+
+             # - name: Upload tomcat logs
+               # if: always()
+               # uses: actions/upload-artifact@v4
+               # with:
+                  # name: tomcat-logs
+                  # path: /tmp/log/tomcat/
+
+             # - name: Change Extract log permissions (so we can upload them)
+               # if: always()
+               # run: sudo chmod a+r *.log
+               # working-directory: /tmp/log/extract
+
+             # - name: Upload Extract logs
+               # if: always()
+               # uses: actions/upload-artifact@v4
+               # with:
+                  # name: extract-logs
+                  # path: /tmp/log/extract/

doc/extract-connector-sample/.gitignore

@@ -0,0 +1,2 @@
+/target/
+/nbproject/

doc/extract-connector-sample/getting-started.md

@@ -0,0 +1,112 @@
+# Extract - Initialiser un nouveau plugin de connecteur
+
+## Introduction
+
+Ce module java est un exemple de plugin de connecteur qui peut être utilisé pour initialiser un nouveau
+plugin pour le projet Extract.
+Le code source est documenté et permet d'avoir les indications nécessaires pour développer un nouveau plugin,
+Il peut être importé dans un nouveau environnement Java, des adaptations sont cependant
+nécessaires selon le fonctionnement attendu.
+
+## Pré-requis pour l'utilisation
+* OS 64 bits
+* Java 17
+* Tomcat 9
+
+## Pré-requis pour le développement et la compilation
+* Java 17
+* [Yarn][Yarn_Site]
+* Projet extract-interface (Interface commune pour l'utilisation des plugins connecteurs et tâches)
+
+## Initialisation du nouveau plugin de connecteur.
+Le projet doit être un module Java. \
+Le projet du nouveau plugin doit définir une dépendance vers le projet extract-interface.\
+Les dépendances requises sont définies dans le fichier pom.xml.
+
+Pour initialiser un nouveau plugin, suivre les étapes dans l'ordre :
+1. Copier le code du plugin extract-connector-sample vers un workspace java. Le système propose demande de définir un
+   nouveau nom.  Si ce n'est pas le cas, utiliser le menu contextuel (clic droit) `Refactor > Rename`
+
+
+2. Editer le fichier **pom.xml** du module, remplacer les occurences de `extrat-connector-sample` par le nouveau nom du plugin.
+   Après un clic droit sur le fichier, choisir l'option `Add as Maven Project`
+
+
+3. Après un clic droit sur l'espace de nom `ch.asit_asso.extract.connectors.sample`, choisir le menu `Refactor > Rename`.
+   Saisir le nom de la nouvelle classe permettant d'identifier le plugin. Si l'interface le demande, cliquer sur le bouton
+   `Add in current Module` afin d'appliquer les changements sur le mode uniquement.
+   Cela aura pour effet de modifier automatiquement le nom du package dans tous les fichiers du module.
+
+
+4. Après un clic droit sur le fichier **SampleConnector.java**, choisir le menu `Refactor > Rename` puis saisir le nom
+   de la nouvelle classe principale du plugin (e.g EasySDIv4). Cela aura pour effet de renommer le fichier et de modifer
+   toutes les références à cette classe partout où elle est utilisée.
+
+
+5. Editer le fichier **LocalizedMessages.java** : ajuster la valeur du paramètre LOCALIZED_FILE_PATH_FORMAT qui
+   correspond au chemin vers le répertoire `lang`
+
+
+6. vérifier le fichier **module-info.java** en particulier la référence à `SampleConnector`. Vérifier également la ligne 4
+   de ce fichier (référence à l'espace de nom `ch.asit_asso.extract.connectors.sample`)
+
+
+7. Vérifier le fichier **resources\META-INF\services\ch.asit_asso.extract.connectors.common.IConnector**  en particulier
+la cohérence de la classe `ch.asit_asso.extract.connectors.sample.SampleConnector`
+
+
+8. Après un clic droit sur le dossier **resources\connectors\sample**, choisir le menu `Refactor > Rename`. Saisir
+   le nouveau nom
+
+
+9. Editer le fichier **resources\connectors\<connector>\lang\fr\messages.properties**. Modifier ou
+    ajouter les libellés qui seront utilisés par le code source du plugin. Cette étape peut se faire
+    de manière progressive pendant le développement
+
+
+10. Editer le fichier **resources\connectors\<connector>\properties\config.properties**. Ce ficher contient les
+    paramètres de configuration du plugn utilisés par le code source. Cette étape peut se faire
+    de manière progressive pendant le développement
+
+
+11. Le dossier **resources\connectors\<connector>\templates** contient des modèles XML utilisés par le connecteur.
+Néanmoins, ils sont spécifiques au connecteur EasySDIv4, le format XML est en effet utilisés comme format d'échange 
+pour les commandes. Ces fichiers ne serviront sans doute pas pour d'autres types de connecteurs.
+
+
+## Points important à prendre en compte pendant le développement
+
+Le code source est suffisamment commenté afin d'aider le développeur à développer le
+nouveau plugin. Les commentaires en **MAJUSCULE** permettent d'identifer les parties de code ou les fonctions
+importantes à mettre à jour.
+
+Il est notamment recommandé d'apporter les modifications suivantes dans la class Connector :
+* Ajuster si besoin la variable `CONFIG_FILE_PATH`
+* Modifier la valeur du paramètre `code` par une valeur permettant d'identifier le plugin (e.g `EasySDIv4`)
+
+Ensuite, les fonctions à adapter sont celles qui surchargent les fonctions de l'interface
+IConnector :
+* `getParams` pour définir les paramètres du connecteur. Cette méthode retourne les paramètres
+  du plugin sous forme de tableau au format JSON. Si le plugin n’accepte pas de paramètres, renvoyer un tableau vide
+* `importCommands` qui permet de gérer l'import des commandes effectués par le serveur distant
+* `exportResult` qui permet de gérer l'envoi du traitement d'une commande vers le serveur qui l'a produite
+
+Les fonctions privées dans le code permettent de réaliser des traitements utilitaires ou de traiter
+les données reçues. Ces fonctions peuvent être addaptées ou supprimées selon le besoin.
+Ces fonctions sont bien identifiées dans le code de la classe Connector.
+
+## Installation ou mise à jour du plugin dans EXTRACT
+
+Avant de compiler le connecteur, supprimer le dossier **target**.\
+Dès que le connecteur est compilé et que le fichier jar est généré, il suffit de placer le JAR
+dans le répertoire **WEB-INF/classes/connectors** de l’application
+(contenant tous les plugins de connecteurs).\
+En cas de mise à jour, il convient de supprimer le WAR de l’ancienne version afin d’éviter des conflits.
+
+```
+Le redémarrage de l’application Tomcat EXTRACT est ensuite requis afin que la 
+modification des connecteurs soit prise en compte.
+``` 
+
+
+[Yarn_Site]: https://yarnpkg.com/ "Site du gestionnaire de package Yarn"

doc/extract-connector-sample/nb-configuration.xml

@@ -0,0 +1,21 @@
+<?xml version="1.0" encoding="UTF-8"?>
+<project-shared-configuration>
+    <!--
+This file contains additional configuration written by modules in the NetBeans IDE.
+The configuration is intended to be shared among all the users of project and
+therefore it is assumed to be part of version control checkout.
+Without this configuration present, some functionality in the IDE may be limited or fail altogether.
+-->
+    <properties xmlns="http://www.netbeans.org/ns/maven-properties-data/1">
+        <!--
+Properties that influence various parts of the IDE, especially code formatting and the like. 
+You can copy and paste the single properties, into the pom.xml file and the IDE will pick them up.
+That way multiple projects can share the same settings (useful for formatting rules for example).
+Any value defined here will override the pom.xml file value but is only applicable to the current project.
+-->
+        <org-netbeans-modules-javascript2-requirejs.enabled>true</org-netbeans-modules-javascript2-requirejs.enabled>
+        <netbeans.hint.license>gpl30</netbeans.hint.license>
+        <netbeans.compile.on.save>none</netbeans.compile.on.save>
+        <netbeans.hint.jdkPlatform>Zulu_17.0.1</netbeans.hint.jdkPlatform>
+    </properties>
+</project-shared-configuration>