A k k o r _ i s, _ h a _ r e m é n y t e l e n n e k _ l á t s z i k ...

Dog Quijote

STATISZTIKAI HIBA

Hogyan értelmezzünk piackutatási eredményeket?

2019. november 06. - Dog Quijote

Olvasom a hvg.hu-n a Medián önkormányzati választásokkal, a Borkai-üggyel és azok utóhatásaival foglalkozó, ma közzétett kutatásának eredményeit (közben jön meg a hír: Borkai lemond).

Az alábbiak előtt két dolgot le kell szögeznem: 1.) a hivatkozott Medián-vizsgálat nem tárgya, hanem csak ugródeszkája a kutatási adatok értelmezésével kapcsolatos eszmefuttatásnak; 2.) az alábbiakban valódi kutatásokról és azok összetevőiről lesz szó, nem pedig a valamiféle hátsó szándékkal közzétett, manipulatív, kamu adatokról.

kutatas.jpg

A Medián-számok és -százalékok hol meglepőek, hol elgondolkodtatóak, hol semmitmondóak. Az utóbbiakról jut eszembe: vajon hányan tudják helyesen értelmezni a különféle piac- és közvélemény-kutatások eredményeit azok közül, akiket a legkülönfélébb médiumok nyakon öntenek ilyen jellegű információkkal. (Azt is csak félve feltételezem, hogy a vállalati döntéshozók értik és jól értik a cégükkel, márkájukkal, termékeikkel kapcsolatos felméréseket: tapasztaltam már az ellenkezőjét "szakembereknél" is)

Biztos eredményeket akkor kapnánk, ha az adott kérdésben (legyen az egy termék vagy szolgáltatás értékesítése, vásárlói fogadtatása, bármely társadalmi jelenség, vagy éppenséggel -- mint jelen esetben -- politikai esemény, pártok, politikusok megítélése) valamennyi érintett, szakszóval az alapsokaság minden tagjának véleményét fel lehetne mérni. Ezt hívják a piackutatásban teljes körű megkérdezésnek. Nyilvánvaló, hogy egy ilyen vizsgálat nagyon idő- és költségigényes lenne, ezért ilyeneket nem is csinálnak.

diagram.jpg

Feltételezhető ugyanakkor, hogy az alapsokaságból vett kisebb létszámú vizsgálatai alany nagyjából azonos, de legalábbis hasonló tulajdonságokat, vásárlási szokásokat, politikai nézeteket mutat, mint az érintettek teljes köre (ahogy egy csepp víz összetétele is jellemző az egész tengerre). Ezen a feltételezésen alapul a piac- és közvélemény-kutatásokban alkalmazott mintavétel, vagyis hogy a gyorsaság és a költségek kímélése miatt egy kisebb létszámban választanak vizsgálati alanyokat.

Eddig ez rendben is van, de... a mintavételből adódik egy jelenség, amely torzítja-torzíthatja a kapott eredményeket. Ezt könnyű belátni: ha az ország minden 14 évnél idősebb lakosát kérdeznénk, hogy szereti-e mondjuk a Coca Colát, akkor egy valós és pontos eredményt kapnánk. Ha viszont a 14 év felettiekből csak egy 100 fős mintát kérdezünk, akkor az itt kapott eredmény eltérhet a teljes körű megkérdezéstől is, és persze attól is, ha másik vagy harmadik száz főt faggatnánk a márkához fűződő érzelmeiről. Ezt az eltérést a statisztika sokféle néven illeti. Az elmondottakból leginkább a mintavételi hiba elnevezés tűnik logikusnak, de nevezik ugyanezt tűréshatárnak, hibahatárnak, konfidencia-intervallumnak is.

Önmagában nem baj, hogy ez a hiba létezik és torzítja a kapott eredményeket, ha ... ha tisztában vagyunk a létével is, a mértékével is. Ily módon ugyanis döntéseinkben vagy akár csak véleményünk kialakításában számolni tudunk a jelenséggel, s nem vesszük készpénznek a kutatási jelentésben vagy éppen a médiában látott-hallott adatokat. Mintavétel esetén ugyanis a kapott eredmény nem egy pontos, egzakt érték, hanem csak egy intervallum közepe, amitől a tényleges adat lefelé is, felfelé is eltérhet.

A hibahatár pontos mértékének kiszámolására a statisztika tudománya kidolgozott egy képletet, de ezzel itt nem fárasztanám a jobb sorsra érdemes olvasót. A lényeg, hogy a hibahatár nagysága alapvetően két dologtól függ: az alapsokaság nagyságától és a minta nagyságától. Ezt bármiféle képlet nélkül is könnyű belátni: minél kisebb az alapsokaság, annál kevesebb módon lehet kiválasztani a mintát, tehát kevesebb a hibalehetőség; és ... minél nagyobb a minta, annál több véleményt sikerül megtudni (folytatva a korábbi példát: ha nem 100 főt kérdezünk meg a Coke-hoz való viszonyáról, hanem 1000 vagy 3000 főt, akkor egyre pontosabb eredményre számíthatunk.

Közbevetőleg: a minta nagyságán kívül még egy tényező szükséges, hogy a vizsgálat valós eredményeket hozhasson, a reprezentativitás. A kifejezés azt jelöli, hogy a minta összetételének (legalább néhány ismérvet tekintve) meg kell felelnie az alapsokaság összetételének. Ez is nyilvánvaló: ha az ország politikai hangulatának felmérését célozzuk, nem vehetjük a mintát csak budapesti, egyetemet végzett nyugdíjasokból (vagy a kutatóintézet saját munkatársaiból). Ha egy cseppben keressük a tengert, akkor a cseppet valóban a tengerből kell meríteni. A reprezentativitást biztosítani vagy a mintavétel során lehet különféle módszerekkel, vagy utólag lehet beállítani, súlyozással. (A cikk apropóját adó kutatásban "a minta pontosan tükrözi a szavazókorú lakosság településtípus, nem, életkor és iskolai végzettség szerinti összetételét".)

Összefoglalva az eddigieket: ha bármiféle kutatás kerül elénk, legelsőként mindig célszerű megnézni, hogy milyen létszámú minta megkérdezésével készült az adott felmérés. Sajnos a médiumokban ismertetett vizsgálatok esetén csak nagyon ritkán közlik a módszertani ismérveket. A hvg.hu ebből a szempontból a korrekt médiumok közé tartozik, a ma cikk végén is szerepel, hogy a felmérést az ország több mint 100 településén véletlenszerűen kiválasztott 1200 felnőtt állampolgár személyes megkérdezésével, mely napokon készítették. Még azt is megadják, hogy "a közölt adatok hibahatára legfeljebb ±3 százalék".

Itt a lényeg!

Az olvasó csak akkor lehet biztos benne, hogy a közölt adatok valós mozgásokat mutatnak, ha a változás mértéke nagyobb, mint a hibahatár. Konkrétan: amikor azt olvassuk, hogy a DK-szavazók részvételi hajlandósága egy most rendezendő választáson szeptember végéhez viszonyítva 66%-ról 81 százalékra nőtt, akkor ez a mérték jelentősen meghaladja a 3%-os hibahatárt, tehát tényleges változás lehet mögötte. De amikor ugyanez az adat a Fidesz-szavazóknál 71-ről 74-re nőtt, akkor ez éppen a hibahatáron van, tehát legalábbis kétséges, hogy valódi növekményről van-e szó.

Még ennél is pikánsabb, ha az 1-2 százalékon álló kis pártokat eredményeit akarjuk értelmezni: mivel kedveltségük bőven a hibahatáron belül van, a tényleges érték akár nulla (de persze 4-5) százalék is lehet... Nagyon nem mindegy. Nekik.