Cette nouvelle version de Meta-Press.es introduit plusieurs améliorations dans les délais de traitement. Tout d’abord, les définitions de source sont désormais gardées dans le stockage du navigateur, pour éviter d’avoir à relire les 25 000 lignes de définition à chaque ouverture d’un onglet Meta-Press.es. Lire la définition des sources depuis le stockage du navigateur s’avère 3x plus rapide que de lire cette information depuis le stockage NVME de ma machine (tests effectués avec Firefox Nightly ASAN, une version lente).

Ensuite c’est la façon dont les recherches sont effectuées qui a été améliorée. La précédente méthode consistait à interroger une source, attendre puis traiter sa réponse, et recommencer avec la source suivante. La nouvelle méthode consiste à lancer toutes les requêtes en même temps dès le début (en respectant le nombre maximum de requêtes DNS recommandé par Quad9, soit 500 par seconde) et de ne commencer à analyser les réponses qu’après. Ceci permet de masquer partiellement les temps d’attente des sources les plus lentes. Sur une connexion 4G en France c’est 3x plus rapide et 620 sources peuvent être interrogées en 9s. Cette amélioration de l’ordonnancement des requêtes s’appuie sur l’API JavaScript microTask.

La dernière amélioration concerne l’introduction d’une approche multi-tâches des recherches (grâces à la Wau Holland Foundation). Cette fonctionnalité est activable d’un clic dans les réglages. Cela permet de répartir les requêtes sur plusieurs tâches, environ une par noyau de CPU (moins quelques tâches conservées libres pour le système et rassembler les résultats), afin de mobiliser plus de ressources du micro-processeur alors que le JavaScript est lui mono-tâche. Pour ce faire, une recherche multi-tâches ouvre (puis referme automatiquement) plusieurs onglets dans le navigateur. Les résultats sont ensuite rassemblés dans l’onglet ayant lancé la recherche. Ce fonctionnement devrait permettre de gagner du temps dans les environnements d’exécution où c’est le CPU qui ralenti le traitement (comme avec un vieux smartphone sur une bonne connexion WiFi ou un vieil ordinateur connecté en fibre optique). Mais sur une connexion 4G, le CPU passe le plus clair de son temps à attendre les réponses, donc l’option n’est pas activée par défaut.

Grâce au soutien de la NLnet et du programme européen NGI0, il est désormais possible de réaliser des recherches Meta-Press.es hors d’un navigateur web, depuis la ligne de commande via un script Deno.

Cette nouvelle manière d’utiliser Meta-Press.es représente la dernière étape de la restructuration de code impulsée par la NLnet pour introduire une séparation claire entre moteur et interface, alors que ce dernier s’est considérablement compliqué ces dernières années. Aujourd’hui, la majeure partie du code de Meta-Press.es a pu être réutilisée pour le fonctionnement en ligne de commande, prouvant que tout a bien été rangé.

Cette nouvelle interface devrait permettre d’utiliser Meta-Press.es dans de nouvelles situations, par exemple sur un serveur.

Toutefois ce n’est pour l’instant pas plus rapide que d’utiliser Meta-Press.es dans un navigateur web. Ceci est dû au fait que l’analyse des pages web téléchargées par Meta-Press.es est lente dans ce contexte car elle passe par la bibliothèque de fonction jsdom ^[1] qui simule les parties manquantes du navigateur web. Un navigateur web propose ces fonctionnalités à partir de code compilé 100x plus rapide qu’une version singée en JavaScript. Une recherche Meta-Press.es en ligne de commande est donc limitée par le CPU de la machine et s’étalait sur plusieurs minutes dans la première version mono-tâche. Heureusement, il a été possible de proposer une exécution multi-tâches (en s’appuyant sur l’API WebWorker ^[2] cette fois), qui ramène le temps d’exécution à quelque chose de comparable au Meta-Press.es classique, du moins sur une machine avec 16 fils d’exécution.

Pour plus d’information sur comment utiliser Meta-Press.es en ligne de commande, reportez vous à la section correspondante du README du projet.