Hoe een bevinding tot stand komt

Gegevens

Het onderzoek gebruikt uitsluitend openbare gegevens over Belgische ondernemingen: officiële publicaties, het bedrijfsregister, jaarrekeningen, omgevingsaanvragen, overheidsopdrachten en toegekende steun. Elke gebeurtenis krijgt een datum en wordt aan het ondernemingsnummer gekoppeld. Gegevens van klanten van Hunch worden nooit gebruikt.

1.141.228 ondernemingen1.064.469 gedateerde gebeurtenissen2018 begin van de langste reeks363 verbanden getoetst

Onderzoeksopzet

Elke vraag heeft de vorm van een retrospectief cohortonderzoek. Het cohort bestaat uit alle ondernemingen met gebeurtenis A binnen een vast instapvenster. Gemeten wordt welk aandeel daarvan binnen een vaste opvolgperiode gebeurtenis B kent.

De opvolgperiode begint pas na het instapvenster. Twee wijzigingen uit dezelfde akte kunnen zo nooit als oorzaak en gevolg gelden. Is een reeks nog jong, zoals bij faillissementen, dan krijgen beide cohorten hetzelfde opvolgvenster en liggen hun instapvensters ervoor.

Vergelijkbare bedrijven

Grote, oude en actieve bedrijven maken meer van alles mee. Om dat effect weg te nemen, worden alle ondernemingen ingedeeld in lagen volgens sector (NACE-sectie), omvangklasse (0, 1-4, 5-9, 10-49, 50-249 en 250 of meer voltijdse equivalenten uit de laatste jaarrekening; zonder jaarrekening enkel werkgever of niet) en leeftijdsklasse (0-2, 3-5, 6-10, 11-20 en meer dan 20 jaar). Een laag met minder dan 300 bedrijven wordt samengevoegd, altijd in dezelfde volgorde: eerst de leeftijd, dan de omvang. Per laag wordt berekend hoe vaak B voorkomt bij ondernemingen zonder A, en daaruit het aantal gevallen dat in het cohort te verwachten is.

factor = waargenomen gevallen / verwachte gevallen = O / Σ_laag (n_laag × kans_{laag zonder A})

Een factor van 2 betekent dat B twee keer zo vaak volgt als bij vergelijkbare bedrijven. Het 95%-betrouwbaarheidsinterval is het exacte Poisson-interval op het aantal waargenomen gevallen.

De vergelijkingsgroep bepaalt wat een factor betekent. Daarom wordt elke toets drie keer gedaan. De hoofdfactor vergelijkt met bedrijven zonder A die in dezelfde instapperiode een andere publicatie of gebeurtenis kenden: gewoon actief zijn kan dan geen verband maken. Daarnaast wordt vergeleken met alle economisch actieve bedrijven (personeel, een jaarrekening in de twee jaar voor de instap, of een publicatie in die periode) en met het volledige bedrijfsregister. Een bevinding krijgt enkel een status als de eerste twee groepen dezelfde richting geven; de drie factoren staan in elke technische noot. Een bron die één gewest dekt, wordt enkel binnen dat gewest getoetst.

Naast de factor staat altijd het absolute verschil. Een factor van 10 op een gevolg dat bij 0,1% van de bedrijven voorkomt, blijft 1%. Een bevinding wordt enkel uitgelicht als minstens 2% van de bedrijven met A ook B krijgt en het verschil met de vergelijkingsgroep minstens 1 procentpunt bedraagt.

Herhaling

Een verband telt pas als het terugkomt in een tweede, onafhankelijk cohort: andere ondernemingen, een latere periode. Voor omgevingsaanvragen wordt de toets herhaald voor elk jaar sinds 2018. Bevindingen op jaarrekeningen steunen voorlopig op één boekjaar en krijgen hun tweede meting met het volgende.

Meervoudig toetsen

Wie honderden verbanden toetst, vindt er een aantal bij toeval. In de eerste meting blijft het verwachte aandeel valse ontdekkingen daarom onder 5% (procedure van Benjamini en Hochberg). De tweede meting moet op zichzelf significant zijn (p < 0,05) en in dezelfde richting wijzen.

Resultaten zonder verband of met een omgekeerd verband worden op dezelfde manier gepubliceerd als de andere. Een archief met enkel opvallende uitkomsten zou een vertekend beeld geven.

Nalezing

Elke nieuwe of veranderde bevinding wordt voor publicatie apart nagelezen, in twee rondes. In de eerste ronde ziet de nalezing enkel de definities en de opzet, zonder cijfers, en formuleert ze minstens drie alternatieve verklaringen met voor elk de toets die ze zou uitsluiten: een verschoven opvolgperiode, het weglaten van gevallen kort na de gebeurtenis of van de grootste laag, een placebogebeurtenis, een negatieve controle met het gevolg vóór de gebeurtenis, de overlap van definities, de stabiliteit over de metingen en de E-waarde voor ongemeten verstoring.

Die toetsen worden in code uitgevoerd. In de tweede ronde beoordeelt de nalezing de cijfers en de uitkomst van de toetsen en beslist: publiceren, publiceren met kanttekening, herberekenen of afwijzen. Afgewezen bevindingen verschijnen niet. Bij elke gepubliceerde bevinding staat welke toetsen ze doorstond en welke kanttekening erbij hoort. De nalezing is geautomatiseerd en vervangt geen peer review.

Resultaten

Bevestigd

Beide metingen tonen een factor van minstens 1,4, na correctie voor meervoudig toetsen.

Minder vaak

Beide metingen tonen dat B duidelijk minder vaak volgt (factor 0,71 of lager).

Geen verband

Genoeg gevallen, en beide metingen sluiten een verband van 1,4 keer of meer uit, in beide richtingen.

Voorlopig

Eén meting voldoet; de tweede volgt.

Weerlegd

Een vermoeden dat de gegevens tegenspreken.

Lopend

Nog te weinig gevallen voor een besluit. Lopende toetsen verschijnen pas in het archief als ze afgerond zijn.

Grenzen

• Een verband is geen bewijs van oorzaak. De vergelijking houdt rekening met sector, omvang, leeftijd en activiteit, niet met alle verschillen tussen bedrijven.
• De omvangklasse steunt op de jaarrekeningen die beschikbaar zijn; voor de meeste werkgevers is enkel bekend dat ze personeel hebben, niet hoeveel.
• Faillissementen en nieuwe vestigingen worden korter gevolgd dan andere gebeurtenissen. Die resultaten worden bijgewerkt naarmate de reeks langer wordt.
• Omgevingsaanvragen en Vlaamse steun worden enkel binnen Vlaanderen getoetst. Jaarrekeningen zijn er nog niet voor elke onderneming.

Van bevinding naar model

Bevestigde verbanden worden kandidaat-signalen. Of en hoe een signaal in het model van een klant terechtkomt, beslist een aparte toets op de doelgroep van die klant. Welke signalen een model gebruikt en hoe ze samenwerken, wordt niet gepubliceerd.