fix: Corriger le scraper de FranceTV.

regseb · Jul 5, 2024 · fb66633 · fb66633
1 parent 3025a9c
commit fb66633
Show file tree

Hide file tree

Showing 6 changed files with 44 additions and 15 deletions.
diff --git a/src/core/scraper/francetv.js b/src/core/scraper/francetv.js
@@ -33,9 +33,14 @@ const action = async function (_url, metadata) {
             continue;
         }
 
+        // Demander la vidéo pour Safari sur mobile, car l'API retourne une
+        // vidéo au format HLS qui fonctionne dans Kodi. Avec Chrome sur un
+        // ordinateur, la vidéo est au format DASH qui ne fonctionne pas dans
+        // Kodi.
+        // https://github.com/yt-dlp/yt-dlp/blob/master/yt_dlp/extractor/francetv.py
         let url =
             `https://k7.ftven.fr/videos/${result.groups.videoId}` +
-            "?domain=www.france.tv&browser=chrome";
+            "?domain=www.france.tv&device_type=mobile&browser=safari";
         let response = await fetch(url);
         let json = await response.json();
 
@@ -44,7 +49,7 @@ const action = async function (_url, metadata) {
             encodeURIComponent(json.video.url);
         response = await fetch(url);
         json = await response.json();
-        return json.url;
+        return `${json.url}|User-Agent=${encodeURIComponent(navigator.userAgent)}`;
     }
     return undefined;
 };

diff --git a/test/integration/scraper/francetv.js b/test/integration/scraper/francetv.js
@@ -25,7 +25,7 @@ describe("Scraper: France tv", function () {
         const file = await extract(url, context);
         assert.ok(
             undefined !== file &&
-                new URL(file).pathname.endsWith("/manifest.mpd"),
+                new URL(file).pathname.endsWith("/master.m3u8"),
             `new URL("${file}").pathname.endsWith(...)`,
         );
     });

diff --git a/test/polyfill.js b/test/polyfill.js
@@ -9,11 +9,24 @@ import { browser } from "./polyfill/browser.js";
 import { CloseEvent } from "./polyfill/closeevent.js";
 import { DOMParser, XPathResult } from "./polyfill/dom.js";
 import { stealthFetch } from "./polyfill/fetch.js";
+import { USER_AGENT } from "./polyfill/useragent.js";
 
 globalThis.browser = browser;
 globalThis.CloseEvent = CloseEvent;
 globalThis.DOMParser = DOMParser;
 globalThis.fetch = stealthFetch;
+// Ne pas modifier directement la variable navigator, car sa modification n'est
+// pas possible : "Cannot set property userAgent of #<Navigator> which has only
+// a getter".
+Object.defineProperty(
+    Object.getPrototypeOf(globalThis.navigator),
+    "userAgent",
+    {
+        get: () => USER_AGENT,
+        enumerable: true,
+        configurable: true,
+    },
+);
 // Désactiver cette règle, car il y a un faux positif quand on affecte une
 // valeur à la variable globale WebSocket.
 // https://github.com/eslint-community/eslint-plugin-n/issues/274

diff --git a/test/polyfill/fetch.js b/test/polyfill/fetch.js
@@ -4,15 +4,6 @@
  * @author Sébastien Règne
  */
 
-/**
- * L'agent utilisateur de Chromium sous Ubuntu.
- *
- * @type {string}
- */
-const USER_AGENT =
-    "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko)" +
-    " Chrome/126.0.0.0 Safari/537.36";
-
 /**
  * La méthode <code>fetch()</code> native dans Node.js.
  *
@@ -34,7 +25,9 @@ export const stealthFetch = function (input, init) {
         // des navigateurs.
         "Sec-Fetch-Dest": "empty",
         "Sec-Fetch-Site": "same-origin",
-        "User-Agent": USER_AGENT,
+        // Remettre l'agent utilisateur, car la valeur dans le navigator a été
+        // écrasée.
+        "User-Agent": navigator.userAgent,
         ...init?.headers,
     };
     return nativeFetch(input, { ...init, headers });

diff --git a/test/polyfill/useragent.js b/test/polyfill/useragent.js
@@ -0,0 +1,14 @@
+/**
+ * @module
+ * @license MIT
+ * @author Sébastien Règne
+ */
+
+/**
+ * L'agent utilisateur de Chromium sous Ubuntu.
+ *
+ * @type {string}
+ */
+export const USER_AGENT =
+    "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko)" +
+    " Chrome/126.0.0.0 Safari/537.36";
diff --git a/test/unit/core/scraper/francetv.js b/test/unit/core/scraper/francetv.js
@@ -72,12 +72,16 @@ describe("core/scraper/francetv.js", function () {
             };
 
             const file = await scraper.extract(url, metadata);
-            assert.equal(file, "https://bar.fr/baz.mpd");
+            assert.equal(
+                file,
+                "https://bar.fr/baz.mpd|User-Agent=" +
+                    encodeURIComponent(navigator.userAgent),
+            );
 
             assert.equal(stub.callCount, 2);
             assert.deepEqual(stub.firstCall.args, [
                 "https://k7.ftven.fr/videos/123-abc" +
-                    "?domain=www.france.tv&browser=chrome",
+                    "?domain=www.france.tv&device_type=mobile&browser=safari",
             ]);
             assert.deepEqual(stub.secondCall.args, [
                 "https://hdfauth.ftven.fr/esi/TA" +