Comment un résultat est établi

Données

La recherche repose exclusivement sur des données publiques concernant les entreprises belges : publications officielles, registre des entreprises, comptes annuels, demandes de permis, marchés publics et aides accordées. Chaque événement est daté et relié au numéro d’entreprise. Les données des clients de Hunch ne sont jamais utilisées.

1 141 228 entreprises1 064 469 événements datés2018 début de la série la plus longue363 liens testés

Méthode

Chaque question prend la forme d’une étude de cohorte rétrospective. La cohorte réunit toutes les entreprises ayant connu l’événement A pendant une période d’entrée fixe. On mesure ensuite la part d’entre elles qui connaît l’événement B pendant une période de suivi fixe.

La période de suivi ne commence qu’après la période d’entrée. Deux modifications issues du même acte ne peuvent donc jamais passer pour une cause et sa conséquence. Quand une série est encore récente, comme pour les faillites, les deux cohortes partagent la même période de suivi et leurs périodes d’entrée la précèdent.

Entreprises comparables

Les grandes entreprises, les anciennes et les plus actives connaissent davantage de tout. Pour neutraliser cet effet, toutes les entreprises sont réparties en strates selon le secteur (section NACE), la classe de taille (0, 1-4, 5-9, 10-49, 50-249 et 250 équivalents temps plein ou plus d’après les derniers comptes annuels ; sans comptes, employeur ou non) et la classe d’âge (0-2, 3-5, 6-10, 11-20 et plus de 20 ans). Une strate de moins de 300 entreprises est regroupée, toujours dans le même ordre : l’âge d’abord, la taille ensuite. Dans chaque strate, on calcule la fréquence de B chez les entreprises sans A, puis le nombre de cas attendus dans la cohorte.

facteur = cas observés / cas attendus = O / Σ_strate (n_strate × probabilité_{strate sans A})

Un facteur de 2 signifie que B survient deux fois plus souvent que dans des entreprises comparables. L’intervalle de confiance à 95 % est l’intervalle de Poisson exact sur le nombre de cas observés.

Le groupe de comparaison détermine le sens d’un facteur. Chaque test est donc mené trois fois. Le facteur principal compare avec les entreprises sans A qui ont connu une autre publication ou un autre événement dans la même période d’entrée : le simple fait d’être actif ne peut alors créer de lien. La comparaison est aussi faite avec toutes les entreprises économiquement actives (du personnel, des comptes annuels dans les deux ans précédant l’entrée ou une publication sur cette période) et avec le registre complet. Un résultat ne reçoit un statut que si les deux premiers groupes vont dans le même sens ; les trois facteurs figurent dans chaque note technique. Une source qui ne couvre qu’une région n’est testée que dans cette région.

L’écart absolu accompagne toujours le facteur. Un facteur de 10 sur une conséquence qui touche 0,1 % des entreprises reste 1 %. Un résultat n’est mis en avant que si au moins 2 % des entreprises avec A connaissent aussi B et si l’écart avec le groupe de comparaison atteint au moins 1 point de pourcentage.

Réplication

Un lien ne compte que s’il se retrouve dans une deuxième cohorte indépendante : d’autres entreprises, une période ultérieure. Pour les demandes de permis, le test est répété pour chaque année depuis 2018. Les résultats tirés des comptes annuels reposent pour l’instant sur un seul exercice et recevront leur deuxième mesure avec le suivant.

Tests multiples

Tester des centaines de liens, c’est en trouver quelques-uns par hasard. Dans la première mesure, la part attendue de fausses découvertes reste donc sous 5 % (procédure de Benjamini et Hochberg). La deuxième mesure doit être significative en elle-même (p < 0,05) et aller dans le même sens.

Les résultats sans lien ou avec un lien inverse sont publiés de la même manière que les autres. Des archives limitées aux résultats frappants donneraient une image faussée.

Relecture

Chaque résultat nouveau ou modifié fait l’objet, avant publication, d’une relecture distincte en deux temps. Au premier temps, la relecture ne voit que les définitions et le protocole, sans chiffres, et formule au moins trois explications alternatives, chacune assortie du test qui l’écarterait : période de suivi décalée, exclusion des cas survenus peu après l’événement ou de la plus grande strate, événement placebo, contrôle négatif avec la conséquence avant l’événement, chevauchement des définitions, stabilité entre les mesures et valeur E pour les facteurs non mesurés.

Ces tests sont exécutés par le code. Au second temps, la relecture évalue les chiffres et le résultat des tests, puis décide : publier, publier avec réserve, recalculer ou rejeter. Les résultats rejetés ne paraissent pas. Chaque résultat publié indique les tests réussis et la réserve éventuelle. La relecture est automatisée et ne remplace pas une évaluation par les pairs.

Conclusions

Confirmé

Les deux mesures montrent un facteur d’au moins 1,4, après correction pour tests multiples.

Moins souvent

Les deux mesures montrent que B survient nettement moins souvent (facteur de 0,71 ou moins).

Pas de lien

Assez de cas, et les deux mesures excluent un lien de 1,4 fois ou plus, dans un sens comme dans l’autre.

Provisoire

Une mesure est concluante ; la deuxième suivra.

Réfuté

Une hypothèse que les données contredisent.

En cours

Encore trop peu de cas pour conclure. Les tests en cours n’apparaissent dans les archives qu’une fois finalisés.

Limites

• Un lien n’est pas une preuve de causalité. La comparaison tient compte du secteur, de la taille, de l’âge et de l’activité, pas de toutes les différences entre entreprises.
• La classe de taille repose sur les comptes annuels disponibles ; pour la plupart des employeurs, on sait seulement qu’ils ont du personnel, pas combien.
• Les faillites et les nouvelles implantations sont suivies moins longtemps que les autres événements. Ces résultats sont mis à jour à mesure que la série s’allonge.
• Les demandes de permis et les aides flamandes ne sont testées qu’en Flandre. Les comptes annuels ne sont pas encore disponibles pour chaque entreprise.

Du résultat au modèle

Les liens confirmés deviennent des signaux candidats. Un test distinct, sur la clientèle cible de chaque client, décide si et comment un signal entre dans son modèle. Les signaux qu’utilise un modèle et la façon dont ils se combinent ne sont pas publiés.