Een door de Universiteit Utrecht en het bureau BOA uitgevoerd onderzoek plaatst vraagtekens bij zowel het FunX/Synovate-bereiksonderzoek als het onderzoek dat door IntomartGFK uitgevoerde Radiolog-onderzoek van het Radio Advies Bureau. Enkele weken geleden openbaarde FunX dit audit-onderzoek. In dit onderzoek is de opdracht gegeven om na te gaan of het eigen Synovate-onderzoek een ‘representatief en valide’ beeld van het bereik bestaat, te bezien of het Radiolog-onderzoek een ‘representatief en valide beeld van het bereik’ van FunX geeft van de FunX-doelgroepen en of welke eisen dienen er te zijn om vanuit de FunX-doelgroepen een representatief en valide beeld te geven.

Uit de audit blijkt dat bij het in opdracht van FunX-gedane bereiksonderzoek problematisch is deze te ‘generaliseren naar een grotere populatie’. Tevens stelt de onderzoeker dat “selectie met als gevolg onbetrouwbare resultaten niet is uit te sluiten,” aangezien zonder ‘aanvullende informatie het moeilijk te zeggen is of er sprake is van een belangrijke selectie’. De audit-onderzoeker stelt overigens wel dat andere onderzoeken FunX (Motivaction/Transcity en Steda Research) ook hoog plaatsen in de resultaten en stelt dat ook deze onderzoeken ‘beperkingen’ kent en geen ‘afdoende toets’ geven over de positie van FunX

Het FunX-onderzoek is gedaan middels de keuze van plekken waar ‘voldoende mensen (uit de doelgroep) komen en waar mag worden ge-geënquêteerd. In Amsterdam is daarbij buiten het stadscentrum Osdorpplein e.o. gekozen. Daarbij zijn mensen op grond van uiterlijke kenmerken op leeftijd en herkomst, alsmede postcode-woonadres, geselecteerd.

Volgens de audit-onderzoeker is niet bekend hoeveel personen uit de doelgroep zijn aangesproken maar niet deelgenomen. Een responspercentage is aldus niet te berekenen; onderzoekers stellen verder dat “De keuze voor een quotasteekproef is vanuit een oogpunt van generalisatie naar de populatie van grootstedelijke jongeren minder gelukkig. Selectie van een bepaald type respondenten en daaruit resulterende vertekening van de enquêteresultaten zijn moeilijk uit te sluiten. De enquêteresultaten van een quotasteekproef hoeven niet representatief te zijn voor de populatie.”

Een belangrijke conclusie van de audit-onderzoeker is verder dat “de keuze voor een quota-steekproef (in plaats van een kanssteekproef)  minder gelukkig is vanuit een oogpunt van generalisatie naar de populatie van grootstedelijke jongeren. Het
onderzoek leent zich daarom niet voor het nauwkeurig schatten van een bereik of marktaandeel.” Opvallend is dat ondanks de  (eigen) kritiek de audit-onderzoekers het Synovate-onderzoek als positief beoordelen, al wordt gesteld dat dat ‘binnen de gestelde opdracht’ is.

Over het door de radiomarkt algemeen geaccepteerde continue IntomartGFK-onderzoek stellen de audit-onderzoekers dat de indruk bestaat dat deze ‘niet op een volledige aselecte kanssteekproef is gebaseerd’ en dat ‘respons problematisch’ is. Volgens de audit-onderzoekers is de vraag of allochtone stadsjongeren (15-34 jarigen) in de vier grote Randstadsteden voldoende representatief in het IntomartGFK-onderzoek zitten op basis van de hun beschikbare informatie ‘niet afdoende’ te beantwoorden. Op basis van ‘indicatoren’ is het antwoord volgens het onderzoek van de Universiteit van Utrecht en BOA negatief. Dit komt volgens de onderzoekers door de methode van het dagboekonderzoek bij de doelgroep, alsmede de aaname dat slechts 10 respondenten man zijn tussen de 18 en 24 jaar zijn in de stad Utrecht (met als bron een artikel van IntomartGFK-man Camiel Camps van 2002). De conclusie van de onderzoekers is wel dat het IntomartGFK-onderzoek een ‘meer valide’ beeld geeft van het beluisteren van radiostations door respondenten dan het vragen naar ‘het beluisteren van radio gisteren, de afgelopen week of de afgelopen 12 maanden’. De audit-onderzoekers adviseren extra inspanningen te leveren opdat het IntomartGFK-onderzoek kan verbeteren met een groter aantal respondenten uit specifieke doelgroepen. Ook stellen de onderzoekers dat ‘face-to-face’ bij bepaalde doelgroepen als (grootstedelijke) jongeren en mensen van allochtone afkomst ‘noodzakelijk’ is, ‘bij voorkeur huis-aan-huis’ met een ‘aselecte steekproef’. Ook een speciale aangepaste, eenvoudige en korte vragenlijst wordt door de onderzoekers voor ‘moeilijk bereikbare doelgroepen’ aanbevolen.

Willem Stegeman, algemeen directeur van FunX zegt desgevraagd dat de “echte zaak is dat de radiobranche een probleem heeft in het onderzoeken van jongeren. Dat bevestigt dit rapport. Het was flinker geweest als het Radio Advies Bureau had meegewerkt. Ze hadden hun voordeel kunnen doen met  het rapport, in plaats van zelf op je handen blijven zitten en de inspanningen van anderen in twijfel te trekken. Als wij ons kwetsbaar hebben gemaakt met het openbaren van dit validatie-onderzoek, dan zij dat zo. Het gaat om de discussie.  Wij willen – en dat blijkt ook uit dit onderzoek – er een noodzakelijke verbetering van het IntomartGFK-onderzoek komt, waar jongeren tot dusver niet goed in worden gerepresenteerd. Wellicht kan RAB dat nu gewoon eens toegeven en er echt mee aan het werk gaan.”

George Bohlander, directeur van het Radio Advies Bureau, zegt desgevraagd best te hebben willen meewerken, maar dan wel met de voorwaarde dat de details van het Synovate-onderzoek ook kenbaar zou worden gemaakt. Bohlander onderschrijft de kritiek op het Synovate-onderzoek, en erkent tegelijkertijd de problemen van het eigen onderzoek: “Het probleem dat jongeren en allochtonen minder deelnemen aan onderzoek is een probleem dat RAB ook zelf al geruime tijd zeer serieus neemt. Dit probleem geldt overigens niet alleen voor het CLO mediaonderzoek maar voor alle marktonderzoeken. Het RAB doet  zijn best om het CLO op dit punt te optimaliseren. Zo zijn we  in 2007 overgestapt op werving via willekeurige telefoonnummers van vaste en mobiele nummers, juist om groepen als jongeren en allochtonen beter vertegenwoordigd te laten zijn in het onderzoek. Het aantal allochtone panelleden is door deze overgang met 67% gestegen, waarmee de representativiteit aanmerkelijk is verbeterd,” aldus Bohlander. Ook wijst Bohlander er op dat de papieren dagboekjes voor het grootste deel zijn omgewisseld door de deelnemers op internet te laten invullen waarnaar ze hebben geluisterd in plaats van op papier. “We hebben FunX de uitnodiging gedaan mee te doen met het onderzoek, en ook bij wijze van test. Die uitnodiging ligt er. We liggen nu met de aanpassingen redelijk op niveau wat betreft de hoeveelheid jongeren onder de 35. We hebben gezegd tegen FunX om meer participanten aan de ‘jongerencel’ toe te voegen, maar daar hoort wel een betaling bij, net als andere radiozenders dat voor andere doelgroepen doen. Met zo’n uitgebreide set aan maatregelen denken wij dat het onderzoek representatiever kan zijn. Op de uitnodiging aan FunX is officieel afwijzend gereageerd. Maar de uitnodiging om te participeren blijft staan,” aldus Bohlander.

NASCHRIFT/REDACTIONEEL COMMENTAAR:

Er is altijd veel te doen om marktonderzoeken. Het gezegde ‘er zijn leugens, leugens en statistieken’ zal menigeen bekend voorkomen. FunX is niet de eerste die tracht de methodiek van het continu luisteronderzoek te bekritiseren, en zal vast ook niet de laatste daarbij zijn. Wat opvalt bij de kritiek die FunX publiekelijk geeft, is dat ze zich alleen toespitst in haar kritiek op afdoende representativiteit van haar doelgroep stadsjongeren (15 tot 34-jarigen waaronder met name jongeren met een niet-westerse achtergrond) uit de vier grote Randstad-steden. Over andere aspecten van het continu luister onderzoek heeft de ‘audit-onderzoeker’ geen opdracht gekregen om die onder de loep te nemen; FunX laat zich daar publiekelijk verder niet echt over uit. Toen Michiel Bicker Caarten hoofdredacteur was van BNR Nieuwsradio, was deze een veelgehoorde kriticaster op de methodiek van het luisteronderzoek. Circa vijf jaar geleden vond discussie plaats over de kern van het luisteronderzoek: het is in feite een herinneringsonderzoek, waarbij deelnemers bij het invullen van hun ‘dagboek’ dagelijks moeten herinneren wat ze wanneer (en waar) hebben beluisterd. In tegenstelling tot het continu kijkonderzoek waarbij feitelijk wordt gemeten wat bekeken wordt, kunnen vraagtekens geplaatst worden bij de daarbij te accepteren foutmarges en of nu daadwerkelijk de radio-beluistering of de herinnering van radiobeluistering wordt onderzocht. Dat het luisteronderzoek in de meeste andere Europese landen minder uitgebreid is en meestal ook via ‘dagboekjes’ gaat doet daar niets aan af. Het wijzigen van de methodiek om het invullen van de dagboekjes via internet te laten verlopen en het invoeren van de ‘gouden standaard’ in de manier waarop het Nederlandse publiek wordt vertegenwoordigd, is uiteraard daarbij wel een vooruitgang. Toch blijft nog los van de herinnering de representativiteit – en niet alleen voor stadsjongeren in de vier randstadsteden – een discussiepunt. Zelfs de Raad van Bestuur van de Nederlandse Omroep Stichting benoemde enige tijd geleden dat dit een probleem is, maar stelde tegelijkertijd dat dit in algemene zin heel lastig is op te lossen gezien een matige bereidheid tot deelname. Een verbetering van 67 % zegt op zich niet alles zolang absolute cijfers niet kenbaar worden gemaakt: het kan de betekenis hebben van heel weinig naar minder weinig representatief. Bekend is dat – in het algemeen – er te weinig jonge mensen in heel Nederland (en niet alleen [niet-westerse] stadsjongeren in de vier randstadsteden) deel (willen) nemen aan marktonderzoeken. Wellicht is het anno 2009 noodzaak om met nieuwe methodes te komen tot meting. Naast de ‘portable’ meting kan het meten van streams op basis van onafhankelijke rapportages – gezien de groeiende internetbeluistering – binnen onderzoeken en het ontwikkelen van een methode daartoe, bijdragen aan een meer betrouwbare luistercijfermeting dan louter het herinneringsonderzoek van IntomartGFK.
Dat losse selectieve bereiksonderzoeken lastig te vergelijken zijn met landelijke continu-onderzoek en het in feite daarmee ook in de onderzoeksmethodiek aflegt, zal geen noviteit zijn. Ook de kritiek op de representativiteit binnen het IntomartGFK-onderzoek is niet nieuw; jammer is dat in het audit-onderzoek om overigens verklaarbare reden niet ook met actuele data gewerkt kon worden.

Wat in commerciële zin merkwaardig is van FunX is dat ze een kritisch audit-onderzoek heeft durven openbaren over het in haar opdracht gedane Synovate-bereiksonderzoek, anderzijds is dit juist te prijzen omdat ze daarmee de eigen kwetsbaarheid durft aan te geven. In die zin is duidelijk dat FunX enerzijds met haar persberichten en presentaties over de in haar opdracht uitgevoerde Synovate-bereiksonderzoeken tracht een commerciële (reclame)markt aan te boren, maar daarmee tegelijkertijd een intern belangenconflict krijgt doordat het een publieke omroeporganisatie is met een publieke doelstelling die met belastingmiddelen werkt. Bij FunX lijkt die scheiding tussen commercie en publieke taakopdracht – zoals bij de publieke landelijke omroep in organisatorische zin het geval is – niet te bestaan. Het onlangs gelanceerde Funx.info is daar illustratief voor: de produkten van een bekende fastfoodketen als ‘prima eten’ en ‘gewoon goed’ voedsel, ‘niets meer aan doen’ aanduiden, heeft in ieder geval veel weg van een pure commerciele boodschap. En zo heeft de wetgever bedoeld of onbedoeld een onmogelijke spagaat gecreëerd. Een reclamevrije publieke omroep is zo gek nog niet?!

Dit naschrift/redactionele commentaar is een naschrift/commentaar met een mening en aldus geen journalistiek artikel