Последње три године, Кровна организација младих Србије (КОМС) спроводи годишња истраживања о положају и потребама младих у Србији (извештаји: 2019 | 2018 | 2017). Извештај за 2019. годину одјекнуо је у јавности пре свега због сензационалистичког наслова у медијима - Више од половине младих је за „јаког вођу и лидера којег ће народ следити“. У самом тексту вести можемо видети да је 59% младих на питање „Да ли сматрате да је Србији потребан јак вођа и лидер кога ће народ следити?“ одговорило са „Да“, 31% се није сложило с овом тврдњом, док је 10% истакло да не зна. Још један од многих налаза ове студије је да 43% младих сматра да је „демократија најбољи облик владања“, за разлику од 31% младих који се не слажу са том тврдњом. На први поглед ова два налаза делују помало контрадикторно, зар не?
Без намере да у овом тексту улазим у начин процене испитивања ставова младих, коју такође треба преиспитати, овде је много важније једно друго питање - да ли се за ове налазе може сматрати да одсликавају ставове младих у Србији. Одговор на ово питање се једноставно може утврдити - одговором на питање да ли је ово истраживање спроведено на национално репрезентативном узорку младих у Србији.
У једном од претходних текстова на блогу, писао сам о томе зашто је дуг пут од података до закључака и указао зашто није довољно само обратити пажњу на график или понуђене закључке. Посебно након сусрета са истраживањима из домена друштвених наука или јавног мњења и поготово ако су ти сусрети путем медија, као што је случај са наведеним истраживањем КОМС-а. Истакао сам да је од велике важности поставити питања о коришћеној методологији, начинима мерења варијабли, узорку итд. Једино на тај начин можемо да будемо уверенији да резултати и закључци истраживања одражавају оно што подаци заиста показују. Детаљно преиспитивање КОМС студија је важно с обзиром да она имају претензију да чине „базу за предлагање и креирање јавних политика заснованих на доказима (evidence-based policy принцип)“. Наиме, аутори студије тврде да не само да „извештај представља добру полазну основу за даља истраживања, за продубљивање сазнања из појединих области“, што је циљ који сасвим у реду, већ да извештај такође представља „својеврсан алат који ће се користити за израду предлога јавних политика и кампања заговарања“.
Ако ови резултати нису национално репрезентативни, поставља се питање да ли треба креирати јавне политике засноване на доказима, ако имамо разлога да сумњамо у то да ови докази представљају ставове свих младих особа у Србији.
Зашто се уопште користи узорак?
Када истраживачи желе да изведу закључке о својствима популације или одређеног дела популације (нпр. „млади“, „кошаркаши”, „гласачи“ итд), један од могућих приступа је да испитају сваког члана популације. На пример, у предвиђању резултата избора, популацију чине сви држављани једне земље који имају право гласа. Истраживачи би могли да испитају сваког од њих. Међутим, очигледно је да би испитивање целокупне популације било веома скупо и тешко изводљиво.
Захваљујући статистичкој теорији и теорији вероватноће, само на основу узорка који чини много мањи број чланова из одређене популације могуће је извести генерализације о својствима целокупне популације. Другим речима, на основу узорка можемо извести закључке о популацији коју тај узорак треба да представља. Оно што је кључно је да узорак мора добро да репрезентује целокупну популацију, то јест да буде идентичан популацији по свим њеним својствима. Уколико је нпр. циљ предвидети како ће гласачи, међу којима су оба пола заступљена отприлике подједнако, гласати на изборима, а узорак укључује само 10% жена, он неће на добар начин репрезентовати популацију. Узорак мора да садржи све карактеристике популације, само „у малом“. Уколико се овај услов не испуни, није оправдано доносити закључке о популацији на основу узорка.
Председнички избори у САД 1936.
Дејвид Фридмен, један од најзначајнијих статистичара у 20. веку, који се посебно залагао за боље коришћење статистике у друштвеним наукама, наводи пример избора из 1936. у Сједињеним Америчким Државама који илуструје шта се догоди када узорак не наликује популацији. Те године САД су се опорављале од Велике депресије, 9 милиона људи је било незапослено, реални доходак (real income) је опао за трећину у периоду 1929-1933. Кандидат Републиканаца је био Алфред Лендон, чија је главна ставка у програму био буџет Управитељства (Government budget). Његов противкандидат, Френклин Рузвелт, уместо тога истицао да је битније питање буџет америчког народа. Већина аналитичара сматрала је да ће Рузвелт однети лаку победу, али не и часопис Literary Digest. Овај часопис спровео је истраживање на огромном узорку, на преко два милиона гласача, и на основу тога предвидео да ће Рузвелт добити само 43% гласова. Већ 20 година уназад, овај часопис је успевао да предвиди који кандидат ће победити на председничким изборима.
Ипак, на изборима 1936. године Рузвелт је однео убедљиву победу са чак 62% гласова, насупрот 38% колико је имао Лендон. Literary Digest је убрзо након тога банкротирао.
Да бисмо разумели зашто су истраживачи часописа оволико оманули, потребно је да погледамо како су дошли до узорка. Процедура се састојала у слању упитника поштом на адресу 10 милиона људи. Адресе су преузете из телефонских именика и различитих листа чланства у клубовима. У то време, само једно домаћинство од четири је уопште поседовало телефон. Самим тим, постојала је јака пристрасност у узорку (selection bias), јер сиромашни људи нису поседовали телефон. Разлика у гласачким тенеденцијама богатих и сиромашних није била значајна пре 1936. године, стога није утицала на предикције, међутим услед политичке ситуације у том тренутку, постојала је велика разлика између ове две групе људи. Сиромашнији су углавном гласали за Рузвелта, док су богатији били за Лендона.
Међутим, постоји још један проблем. Од 10 милиона људи којима је поштом послат упитник, само нешто више од два милиона је заправо попунило упитник. Овде је у питању једна друга пристрасност (non-response bias). Постоји добра могућност да се људи који су одговорили на упитник значајно разликују по неким карактеристикама од људи који нису одговорили на упитник. Дакле, два милиона људи потенцијално не представља веродостојно ни 10 милиона људи којима је послат упитник, а камоли целокупну популацију гласача.
Како можемо бити сигурнији да узорак веродостојно представља популацију?
У идеалном случају, сваки члан популације мора да има једнаку шансу да буде укључен у узорак, а за остало ће се постарати теорија вероватноће. Приметимо да сиромашни грађани САД нису имали једнаку могућност да учествују у истраживању као богати који су били уписани у телефонски именик. Узорак ће најприближније представљати популацију „у малом“ уколико чланови узорка буду изабрани из целокупне популације на насумичан начин (random). У овом идеалном случају реч је о једноставном случајном узорковању, који представља најосновнији метод узорковања који се заснива на вероватноћи. Погледајмо три услова која испуњава овај метод:
Сваки члан популације мора да има једнаку могућност да буде изабран, што подразумева да је неопходно имати комплетан списак свих људи који чине популацију
Избор људи који ће чинити узорак не сме да буде пристрасан, тј. не сме да зависи од воље истраживача
Процедура за одабир људи који ће чинити узорак укључује планирану употребу вероватноће
Међутим, случајеви у којима постоји списак свих чланова популације су веома ретки, а чак и да постоји, није лако доступан. Зато се у истраживањима јавног мњења најчешће користе вишеетапно и кластерско узорковање, или њихова комбинација. Ове две методе испуњавају други и трећи услов, односно не ослањају се на избор истраживача, већ у различитим фазама уводе насумичан избор. Оно што је заједничко свим до сада наведеним методама је да се заснивају на вероватноћи и зато се називају вероватносним (пробабилистичким) узорцима.
Председнички избори у САД 1948.
Размотримо још један пример који наводи Дејвид Фридмен, овога пута председничке изборе у САД 1948. Кандидат Републиканаца био је Томас Дјуи, док је Демократе престављао Хари Труман. Прогнозе су дале три институције које се баве истраживањем јавног мњења: Crossley, Gallup и Roper. Све три агенције су прогнозирале победу Дјуија и прогнозирале му 50-53% гласова. С друге стране, Crossley и Gallup предвиђали су око 45% Труману, док је Roper сматрао да ће Труман имати још мање - 38%. Међутим, Труман је однео победу са нешто испод 50% гласова, док је Дјуи имао само 45%, што представља пет, односно осам мање него што су агенције предвиделе. Да бисмо разумели зашто су прогнозе омануле, поново морамо да погледамо метод узорковања.
Наиме, све три истраживачке агенције користиле су тзв. квотно узорковање. У овом случају, истраживачи би добили одређене квоте и њихов задатак је био да пронађу људе који одговарају тим квотама. Квоте представљају одређену структуру на основу карактеристика људи релевантних за конкретно истраживање. То су нпр. пол, године, раса, економски статус итд. Један интервјуер би нпр. добио задатак да пронађе 20 људи од којих тачно њих 8 живи у предграђу, а 12 у граду. Такође, од тих 20 људи, мушки и женски пол треба да буду подједнако заступљени. Идеја је обезбедити да узорак наликује популацији контролисањем карактеристика људи које могу унапред да се сазнају (на основу пописа становништва). Међутим, многе друге варијабле утичу на то за кога ће људи заправо гласати, не само оне које истраживачи контролишу. Из овог разлога 1948. године је узорак људи чије су гласачке тенденције процењивале агенције гласали другачије него популација по чијој мери је узорак конструисан.
Кључна мана квотног узорковања је чињеница да су интервјуери имали слободу да изаберу било ког грађанина који одговара задатим квотама. Ово оставља могућност људском избору који нужно прате пристрасности (bias). У случају избора 1948. године, републикански гласачи били су у просеку образованији, богатији од демократских гласача, такође су чешће поседовали телефоне, имали сталне адресе и живели у финијим деловима града. Истраживачи су интервјуисали много више републиканских гласача, јер су они били приступачнији и то им је било згодније.
Овај метод узорковања наизглед је исти стратификованом, који до овога тренутка нисам описивао. За разлику од квотног узорковања, где након утврђивања квота истраживачи бирају људе које ће интервјуисати, у стратификованом узорковању људи који ће учествовати у истраживању бирају се насумичним избором. На овај начин, приликом стратификованог узорковања користи се вероватноћа или, другим речима, примењује се једноставно случајно узорковање у оквиру сваког унапред одређеног стратума (пресек релевантних међусобно искључивих и исцрпних категорија). Стратификовани узорци се најчешће користе када је приликом креирања узорка потребно поделити популацију на међусобно искључиве хомогене субпопулације. На пример, ако желимо да узорак пропорционално пресликава популацију у којој је 90% жена а 10% мушкараца, постараћемо се да се и узорку налази 90% жена односно 10% мушкараца. Стога стратификован узорак представља још један вероватносни метод.
Квотно узорковање, с друге стране, представља невероватносни метод узорковања, који не испуњава ниједан од три претходно наведених услова. Постоји више метода који не користе вероватноћу за одабир људи у узорак, а то су: пригодно, намерно, ланчано узорковање итд. Ове методе узорковања се често користе у пробним истраживањима с обзиром на то да су економичније и једноставније. Међутим, закључивање о карактеристикама популације на основу узорака добијених невероватносним методама није оправдано.
Какав узорак је коришћен у истраживањима КОМС-а?
На самом почетку треба истаћи да из извештаја КОМС-а није једноставно утврдити како тачно је изгледао узорак који су користили у истраживањима. Подсећам, главно питање којим се бавим у овом тексту је да ли је оправдано генерализовати налазе ове студије на популацију младих у Србији.
На основу вероватносних узорака, односно у онима у којима је коришћена теорија вероватноће, могуће је применом статистичких процедура одредити грешку узорковања. Другим речима, могуће је одредити величину грешке која се прави приликом закључивања о популацији на основу узорка који је репрезентује. У извештају из 2017. године аутори нису навели грешку узорковања, иако метод узорковања који су навели да су користили - једноставни случајни - спада у вероватносне типове узорака. Међутим, у извештајима из наредне две године, грешка узорковања је наведена. Да ли то ипак значи да су аутори заиста користили узорак који почива на вероватносним методама? Како наводе у извештају из 2019:
„Маргина грешке представља одступање, односно процентуални распон унутар кога се налази одговор који бисмо добили да смо у могућности да испитамо целокупну популацију, а не само узорак. Маргина грешке при овом узорку је минимална“.
Ова реченица указује на то да аутори мисле да је њихов узорак репрезентативан за популацију младих од 15 до 30 година. Међутим, размотримо шта пише у извештајима из сваке године:
2017: „Online упитник за младе узраста од 15 до 30 година на територији Републике Србије. Тип узорка је намерни/циљани на популацију младих као дела опште популације у односу на године (од 15 до 30 година), а у оквиру тог (основног) скупа узорак је једноставни случајни. Упитник је попунило укупно 399 испитаника/ца са територије Републике Србије, а увидом у узорак је утврђено да 3 попуњена упитника нису релевантна, с обзиром на то да нису испуњавала услов циљаног узорка, а то су године живота (15-30), тако да је број упитника који су обрађивани у анализи података 396.“
2018: „Online упитник за младе узраста од 15 до 30 година на територији Републике Србије. Тип узорка је намерни/циљани на популацију младих као дела опште популације у односу на године (од 15 до 30 година), а у оквиру тог (основног) скупа узорак је стратификовани на основу година, рода и места пребивалишта. Упитник је попунило укупно 1200 испитаника/ца са територије Републике Србије.“
2019: „Online упитник за младе узраста од 15 до 30 година на територији Републике Србије. Тип узорка је намерни/циљани на популацију младих као дела опште популације у односу на године (од 15 до 30 година), а у оквиру тог (основног) скупа узорак је стратификован на основу година, рода, места становања, типа насеља и образовања. Упитник је попунило укупно 1238 испитаника/ца са територије Републике Србије.“
Дакле, у сва три случаја узорак су чинили млади између 15 и 30 година на територији Републике Србије. У извештају из 2017. године аутори наводе да је узорак био „једноставни случајни“. То би значило да су аутори имали списак свих младих између 15 и 30 година на територији Србије и да су насумичним избором изабрали 399 њих који ће учествовати у истраживању. Међутим, оно што је чудно је да су млади попуњавали упитник на интернету. Како су истраживачи то извели, мени остаје нејасно. Према мојим сазнањима, у Србији још није могуће доћи до репрезентативног узорка путем интернета, зато што базе испитаника често не захватају људе из руралних крајева. Још битније, уколико је свака млада особа између 15 и 30 година имала подједнаку шансу да буде изабрана у узорак (што је карактеристика, присетимо се, једноставног случајног узорка) и ако је тај списак садржао само такве особе, како је онда могуће да је након прикупљања података утврђено да „3 попуњена упитника нису релевантна, с обзиром на то да нису испуњавала услов циљаног узорка, а то су године живота (15-30)“. Да ли то значи да су на првобитном списку биле и особе које нису одговарале популацији коју узорак треба да представља? Да читалац не би морао да нагађа, неопходно је у оваквим истраживањима детаљно описати како су истраживачи дошли до узорка људи, на које проблеме су наишли у процесу и како су их решили.
У оквиру извештаја за 2018. и 2019. годину, аутори наводе да је узорак „стратификован на основу година, рода, места становања, типа насеља и образовања“. Ово би значило да су истраживачи унапред конструисали стратуме тако да све наведене карактеристике популације (пол, место становања итд) буду пропорционално заступљене у узорку, а да су онда користили једноставно случајно узорковање у оквиру сваког од тих статума како би изабрали испитанике који ће учествовати у истраживању. Да ли је процедура овако и изгледала, тешко је закључити на основу онога што је наведено у извештају. Мени делује вероватније да су истраживачи направили квоте које су потом гледали да задовоље, односно да је овде заправо реч о квотном узорковању. Али тешко је бити сигуран. И у овом случају је тешко замислити како су дошли до узорка преко интернета. Зато је неопходно да опис метода узорковања буде транспарентнији у оваквим истраживањима.
Додатно је збуњујуће што аутори користе термин „стратификација“ и за груписање, односно раздвајање испитаника на основу демографских варијабли у сврху анализа. На пример, испитаници су подељени у неколико категорија узраста: млади од 15 до 19, млади од 20 до 24 године итд. да би се по неким другим варијаблама, попут ставова, посматрале разлике између ових различитих узрасних група.
Импликације за коришћење статистичких анализа
Уколико су ова истраживања спровођена на узорцима који су невероватносни, то доводи у питање оправданост спровођења статистичких анализа зарад доношења закључака. Наиме, није оправдано користити било шта сем дескриптивног описа резултата - макар када је реч о испитивањима друштвених ставова. Међутим, аутори истраживања су у извештају из 2017. утврдили да „не постоје значајније статистичке разлике у просечним одговорима у односу на род испитаника, старост, тип насеља из ког долазе, као ни у погледу образовања. Значајније разлике се јављају само у погледу региона из ког млади долазе. Млади из Београдског региона и региона Војводине имају израженије негативан став у односу на политичке партије“. Такође, у извештају из 2018. истраживачи наводе да „готово да не постоје значајније статистичке разлике према било ком елементу стратификације. Једина одступања и значајне статистичке разлике смо утврдили у поверењу младих у институције из прве (15-19 година) и треће (25-30 година) страте према старости испитаника. Млади из прве страте имају веће поверење, а млади из треће страте ниже поверење од просека испитаника у све институције. Негде су одступања већа, негде мања“. У извештају из 2019. године аутори нису говорили о статистички значајним разликама, али јесу говорили о значајним разликама.
Истраживачи су такође упоредили одговоре испитаника из 2017, 2018. и 2019. године на иста питања, попут нпр. да ли постоји разлика у заинтересованости младих за политичка дешавања. Поставља се питање да ли је поређење налаза из три истраживања у три временске тачке смислено уколико узорци у сва три случаја нису репрезентативни за популацију. Поготово је у том случају проблематично то што узорак из 2017. године има око 400, а узорци у наредне две године око 1200 испитаника.
За крај, иако сам на почетку рекао да нећу улазити у сам начин процене, ипак ћу оставити један коментар на ту тему. У првом пасусу овог текста навео сам пар примера питања која су истраживачи поставили. Једно од њих је било „Да ли је демократија је најбољи облик владања?“, где је 43% испитаника у истраживању из 2019. године сматрало да јесте, а 31% да није. Остали су били неодлучни. Поставити питање на овај начин а при том не објаснити на шта се тачно мисли под демократијом оставља простор да сваки испитаник дефинише овај појам по свом нахођењу. Верујем да је управо ово и био случај. То онда значи да се не може закључивати о томе шта млади мисле о демократији као систему. Могуће је да већина њих и не зна шта тачно демократија представља. У сваком случају, поставља се питање да ли је овако једноставна процена једног сложеног питања има неког посебног смисла. Много је лакше проценити гласање на изборима јер је то обично бинарна одлука, или ћете гласати или нећете за кандидата. Овде је ствар (намераваног) понашања, па субјективне дефиниције неког појма немају прилику да „упрљају“ процену.
У овом тексту прошли смо кроз једну практичну вежбу преиспитивања истраживања јавног мњења у погледу метода узорковања. Услед недовољне транспарентности у писању метода и описивању метода узорковања, било је неопходно поставити низ питања који доводе у сумњу закључак да можемо да говоримо уопштено о ставовима младих између 15 и 30 година. Можда и можемо, али само о ставовима око 1200 младих који су учествовали у истраживању. Највећи проблем који видим у вези са овим истраживањем није у томе што не задовољава највише могуће критеријуме истраживачког рада. То често није ни изводљиво, поготово ако су средства ограничена. Све док су домети истраживања и закључци на основу резултата скромни и произилазе из методологије, сасвим је у реду спроводити истраживања на нерепрезентативном узорку.
Проблем је у претензији да ова истраживања нуде доказе на основу којих треба креирати јавне политике. Додатну важност овим истраживањима дају медији који некритички преносе налазе студије са сензационалистичким насловом. Читалац лако може да буде заведен и да помисли да су наведени ставови карактеристични за све младе у Србији. Међутим, уколико узорак није национално репрезентативан за младе у Србији, а у текстовима објављеним у медијима то није наглашено, одговорност је на ауторима истраживања да контактирају медије и затраже да се вест уклони јер наводи на погрешне закључке. Проблем је, међутим, уколико и аутори студије верују у репрезентативност ових налаза. Онда не преостаје ништа друго него и да се истраживачи додатно обуче у погледу истраживачких пракси и приказа и тумачења резултата.