‘Onterechte kritiek Nationale Nieuwsapp Monitor’

Afgelopen weekend besteedde Elger van der Wel in zijn nieuwsbrief aandacht aan de Nationale Nieuwsapp Monitor. Hij schreef te twijfelen aan (een deel van) de uitkomsten, zonder hierbij Pinch en Newcom te raadplegen.

De reactie van Tim Klein Haneveld (Pinch) en Neil van der Veer (Newcom):

Allereerst is het goed om te benoemen wat het doel is van de Nationale Nieuwsapp Monitor. Want het doel bepaalt hetgeen je uitvraagt en de methodiek die je hanteert. Het doel van de NNAM is tweeledig:

- Inzicht verkrijgen in de bekendheid, het gebruik, de beleving en waardering van nieuwsapps onder gebruikers;

- Inzicht verkrijgen in de elementen die bepalend zijn voor gebruikers en hun behoeften ten aanzien van nieuwsapps en functionaliteiten.

Het is nadrukkelijk geen bereiksonderzoek en, zoals je kunt zien, is het aspect ‘gebruik’ slechts één aspect hierbij. Ons onderzoek richt zich vooral op beleving, waardering, behoeften (Welke elementen bepalen de beleving? Wat vinden gebruikers belangrijk?), maar dat kun je pas in kaart brengen als je eerst het gebruik uitvraagt.

Een tweede belangrijk punt om te benoemen gaat over het fundament van goed onderzoek: een goede steekproef en kwalitatief goede data. We hebben het over:

- Nederlanders van 18 jaar of ouder, waarbij een correctie is toegepast voor toegang tot internet;

- Een aselecte gestratificeerde steekproef met behulp van ISO-gecertificeerd online onderzoekspanel;

- Representatief op de kenmerken geslacht, leeftijd, opleidingsniveau en regio. Segmenten wijken nauwelijks af van de populatie o.b.v. CBS-cijfers. Er is een weging toegepast om te corrigeren voor kleine afwijkingen van de populatie;

We hebben gangbare marges toegepast qua betrouwbaarheid. De foutmarge is <2%, de betrouwbaarheid 99%;

De data zijn uitgebreid gecheckt en geschoond. Bv. straight liners zijn verwijderd en bv. respondenten die alle apps aangekruist hadden zijn eveneens verwijderd.

We hebben dus geen enkele reden om te twijfelen aan de cijfers die uit het onderzoek voortgekomen zijn. Toch reageren we graag op de punten van twijfel die naar voren gekomen zijn. Deze hebben met name betrekking op zelfrapportage en het (grote) aantal apps dat men gebruikt.

Twee punten zijn daarbij van belang:

Strikt genomen is de methode zelfrapportage, maar het is niet zo dat we gevraagd hebben “Hoeveel apps gebruik je?” We hebben 75 apps voorgelegd en men heeft van elke app individueel beantwoord of men hem kent en/of gebruikt. We hebben mensen dus niet gevraagd om zelf een inschatting te maken van hoeveel apps men gebruikt.

Het aantal gebruikte apps is inclusief de gebruikers van digitale krantenreplica’s. Dus als iemand de Volkskrant leest via de betreffende app, telt hij/zij ook mee als gebruiker. We hebben dus een optelling gemaakt van nieuwsapps en krantenreplica’s.

In zijn algemeenheid geldt: het resultaat dat je krijgt hangt altijd af van de methodiek. Daarom geven wij ook expliciet aan in het rapport: het is geen bereiksonderzoek. Je kunt gewoonweg geen eerlijke vergelijking maken met NOBO (of met Digital News Report), omdat de methodiek anders is, de doelgroep anders is en de vraagstelling anders is. Wij zouden hogere aantallen gevonden hebben als we 100 nieuwsapps hadden voorgelegd, simpelweg omdat dan de kans groter is dat je een gebruiker vindt. Als het er 50 waren geweest, waren we lager uitgekomen.

Kortom: welke methodiek je ook toepast, je zult altijd cijfers genereren die afwijken van ander onderzoek. Dat betekent niet dat de cijfers dan niet kloppen. Het is gewoon een ander onderzoek met een ander doel en een andere methodiek.