Navigation respectueuse

Un agent qui parcourt un site public consomme des ressources qui appartiennent à quelqu’un d’autre. Par défaut, Dinoer attend 800 ms entre deux actions et s’arrête à 10 pages et 30 actions par appel ; ces limites se règlent dans la section navigation de dinoer.conf. Chaque réponse porte le compte de ce que l’appel a consommé.

Ce que contient le compteur

Chaque appel renvoie un bloc respect, à la racine du JSON et dans boussole. Sortie réelle, d’une exécution sur https://example.com :

"respect": {"pages_visitees": 0, "actions_executees": 1,
            "duree_totale_ms": 1981, "indice_agressivite": 0.0}

pages_visitees ne compte que les actions naviguer : l’URL de départ d’un appel n’en est pas une. Un appel qui charge une page et la lit indique 0 ; ajoutez un pour le premier chargement. indice_agressivite est la part, parmi les actions exécutées, de celles qui peuvent modifier la page (clics, saisies, scripts evaluer, saisie d’un code) ; il apparaît dès qu’une action a été exécutée.

À l’échelle d’une campagne

campagne.py marque une pause avant chaque requête SearXNG comme avant chaque page qu’il récupère, d’une durée tirée au hasard entre delai_min_secondes et delai_max_secondes (4,5 et 8,5 secondes par défaut). La pause avant les requêtes a été ajoutée après qu’une campagne du 12 août 2026 a envoyé ses requêtes de découverte à la suite : les moteurs derrière l’instance SearXNG l’ont suspendue pour dépassement de leurs limites de débit.

Une campagne ne récupère pas de nouveau une page qu’elle a collectée il y a moins de revisite_apres_jours jours (30 par défaut), et ne prend pas plus de trois pages d’un même site (max_pages_par_hostname).

Comment il se présente

La collecte légère envoie un agent utilisateur qui nomme Dinoer et renvoie à son dépôt, Mozilla/5.0 (compatible; Dinoer/1.0; +https://github.com/RonanDavalan/dinoer), et lit robots.txt sous ce même nom avant toute récupération. Le navigateur garde l’agent utilisateur par défaut de Chromium sans interface, qui indique qu’il est sans interface.

--stealth efface ces marques. Il est désactivé sauf si vous l’activez, et vous répondez du trafic que vous envoyez. Certains sites refusent un agent qui s’annonce alors qu’ils auraient servi un navigateur ordinaire : c’est le prix de ce réglage par défaut.