У првој половини 20. века бихејвиоризам је био доминантан правац у психологији, макар у Сједињеним Америчким Државама. Примарни фокус био је на изучавању понашања, и то искључиво понашања које је могуће споља опазити. У лабораторијским условима, бихејвиористи су користили различите стимулусе и награђивали субјекте-животиње (нпр. давањем хране) уколико су желели да се одређено понашање чешће понавља у будућности или примењивали казну (нпр. благи електрошок) уколико им је циљ био да се одређено понашање ређе испољава или потпуно елиминише. Тако је Б.Ф. Скинер постао врховни владар голубова, успевши да их утренира да играју ваздушни хокеј, док је током Другог светског рата радио на пројекту за Америчку ратну морнарицу, који је имао за циљ стварање навођеног пројектила којим би управљали управо голубови. Сва срећа од овог пројекта се ипак одустало, иначе би Хичкоков филм Птице имао веома брз завршетак.
Иако су истраживања бихејвиориста била веома значајна и утицајна - још пре Скинера, у Царској Русији Иван Павлов је постао први руски нобеловац захваљујући истраживањима на псима - овај приступ занемарио је унутрашње менталне процесе, као што су осећања, мишљење и сл. Ова идеја можда има смисла када се бавите псима или голубовима - тешко је замислити голуба како седи на грани размишљајући о постојању - али изостављање важних менталних процеса приликом проучавања понашања људи сасвим сигурно представља претерано поједностављивање. Бихејвиористи су битне аспекте људског функционисања сместили у тзв. црну кутију, чије отварање, сматрали су, не би допринело разумевању понашања.
Подразумева се да се један важан правац у психологији попут бихејвиоризма не може препричати у два пасуса и да су неке идеје нужно поједностављене. Оно што је битно извући из овог кратког описа је идеја о црној кутији, односно да су током дугог периода од настанка бихејвиоризма истраживачи били нетрпељиви када је реч о менталним процесима. О томе најбоље говори анегдота по којој је истраживачима чак одбијано од плате уколико би у говору употребили менталистичке појмове.
Бихејвиоризам, међутим, није преовладао психологијом у Европи. Изучававши функционисање перцепције, Гешталтисти из Немачке и Аустрије демонстрирали су једноставним експериментима да се оно што људско око види не може објаснити само спољним стимулусима. Лав Виготски у Русији такође критикује бихејвиористе и указује на занемаривање контекста у којем се одвија понашање и културе у којој се особа развија. Средином 20. века долази до новог таласа критика бихејвиоризма, и неколико догађаја доводе до појаве „когнитивне револуције“. Захваљујући радовима Џорџа Милера, Ноама Чомског, Херберта Сајмона и других, скида се и последњи шраф са поклопца црне кутије и питања о функционисању језика, мишљења, памћења и других важних психичких процеса постају од велике важности у психологији.
Црна кутија истраживачког процеса
Илустративан пример црне кутије учинио ми се адекватним за један проблем који примећујем свакодневно, а који се тиче фиксирања на резултате и закључке научних студија и истраживања јавног мњења, без икаквог критичког преиспитивања података и пута којим се дошло до тих закључака. Лепи графикони и сажети закључци заокупљују сву пажњу, док се сви остали делови процеса истраживања занемарују. Начин прикупљања података и услови у којима је то рађено, самим тим квалитет тих података, као и веза између онога што резултати заправо показују и закључака које се изводе из њих затварају се у црну кутију, која се ретко отвара. Као што су се бихејвиористи ослањали искључиво на спољашње стимулусе, тако се људи данас често ослањају на ауторитет истраживача, односно воде се претпоставком да чим је истраживање спроведено, то значи да су се тиме бавили стручњаци и да њиховим закључцима и понуђеним решењима по аутоматизму треба веровати.
Међутим, тек детаљном анализом, приврженим приступањем подацима и разматрањем њихове ваљаности, односно узимањем у обзира свих релевантних аспеката у једном истраживању, могуће је разумети да ли су изнети закључци оправдани или нису. Ово је важно разумети поготово данас када се истраживања јавног мњења и резултати научних студија веома дискутабилног квалитета гомилају и заузимају велики део јавног простора, посредством извештавања медија и новинара који нису образовани за разумевање сложених истраживачких и статистичких пракси и тумачење оправданости закључака, што често доводи до некритичког преношења информација.
Зато је циљ овог текста да загвири у црну кутију истраживачког процеса и помогне развијању осетљивости и пријемчљивости за постављање одређених питања у сусрету са истраживањима, и спречи срљање у велике и непобитне закључке.
Као што ћемо видети у наредним примерима, потребно је размотрити одређена питања која могу да нас доведу до бољег разумевања истраживања и, потенцијално, до увиђања да ситуација није тако једноставна као што делује на први поглед. Нека од питања која ћемо поставити у наставку су:
Како су операционализоване варијабле? Измерити психолошке конструкте није тако једноставно као што је то често случај са физичким предметима. Ако нам неко каже да измеримо дужину монитора, то ћемо лако обавити уз помоћ метра или лењира, али ако треба да измеримо нпр. саосећање, ту ћемо већ имати проблема да осмислимо како најбоље то да урадимо.
Како је изгледало прикупљање података на терену? Организација једног логистички захтевног али и компетитивног истраживања, као што је то нпр. ПИСА тестирање је изузетно тежак посао. Самим тим што у прикупљању података учествује велики број људи и што се све то одвија „на терену“ постоји могућност да се добију подаци који потенцијално искривљују право стање ствари.
Какав је узорак? Проблем узорка задаје посебно јаку главобољу, јер су истраживачима углавном доступни само студенти и одређени делови популације, па је често неосновано закључивати о целој популацији и генерализовати добијене податке.
Брзим прстима до толеранције
На дан Интернационалног дана толеранције 16. новембра, у жижу јавности поново су ушли резултати студије Project Implicit, који наизглед приказују степен толеранције становника држава Европе према особама тамне пути. Када се погледа графички приказ ових „ставова“, лако се може донети погрешан закључак да становници неких земаља, попут Србије или Словеније немају стереотипе или да су толерантни према особама тамније пути, а да су становници неких других, попут Чешке и Литваније мање толерантни или да имају више стереотипа. Међутим, потребно је најпре позабавити се тиме како су истраживачи дошли до ових података, шта они заправо говоре, и да ли имају било какве везе са стереотипима или толеранцијом.
У овом истраживању коришћен је тест имплицитних асоцијација. Ова метода постала је посебно популарна почетком 21. века и најчешће је коришћена за мерење тзв. имплицитних стереотипа и „преференција“ - у овом случају „преферирања“ беле или тамније пути. Истраживања типично изгледају тако што се на екрану великом брзином смењују одређени стимулуси (овде, дакле, лица беле пути и лица тамне пути) или речи (позитивне асоцијације, тј. придеви попут „одлично“, „сјајно“, „драго“, итд. и негативни попут „отров“, „зао“, „гађење“ итд), а задатак испитаника је да притисне један од два тастера (нпр. „Е“ и „И“ на тастатури, јер су довољно одвојени) у зависности шта се од њих тражи у том тренутку. Од њих може да се затражи да притисну тастер „Е“ уколико се на екрану појави лице беле пути или позитиван придев, а тастер „И“ уколико је лице тамне пути или неки од негативних придева. Као мера користи се тзв. време реакције, односно колико брзо је испитаник притиснуо „Е“ или „И“. Процедура делује компликовано када се објашњава речима, зато је најбоље урадити тест како би се најбоље разумело како он изгледа. Детаљна процедура може се наћи овде, а тест се може урадити овде.
Дакле, бројке које су наведене на графичком приказу представљају заправо време реакције у милисекундама. Идеја ове парадигме је да ћемо приликом сусрета са аверзивним или негативним стимулусима бити спорији у реаговању - више времена ће нам бити потребно да притиснемо нпр. тастер „И“, пошто нам је потребно више времена да потиснемо деловање несвесних процеса, тј. наше негативне имплицитне стереотипе.
Да бисмо увидели неодрживост закључка да се овде ради о доброј мери толеранције или стереотипа, није неопходно улазити у детаљне критике ове методе (којих је подоста), већ је довољно одговорити на питање - да ли нам ови подаци говоре да су становници неких земаља толерантнији према особама тамније пути него становници неких других земаља?
Како је тачно неки конструкт, попут толеранције у овом случају, дефинисан и процењен је од суштинске важности. Сама чињеница да је нечему додељен назив „толеранција“ или „преференција“ не мора да одражава заиста ове феномене. Наиме, овако комплексне феномене је веома тешко, ако не и немогуће, прецизно дефинисати и операционализовати, тј. учинити мерљивим. Након сусрета са резултатима овог истраживања, лако је направити грешку и изједначити аутоматску, несвесну „преференцију“ за белу или црну боју коже о којој аутори студије причају са једним сложеном психичким феноменом попут толеранције према особама одређене пути у реалном свету. Преференцију стављам под наводнике јер заправо представља брже или спорије реаговање на позитивне или негативне придеве када се налазе уз илустрацију особе беле или црне пути. Ово нам не говори нужно ни о чему што би могло да има везе са понашањем у реалном свету, нити говори о реалним унутрашњим преференцијама, толеранцијама или стереотипанцијама.
Вреди истаћи и питања о условима спровођења истраживања и узорка у различитим земаљама. Велико је питање да ли су се у свим државама користиле исте тастатуре за одговарање, јер ако говоримо о разликама у милисекундама, било какво одступање (замислите да је неко радио на механичкој тастатури) у томе како је тачно изгледало тестирање би могло да утиче на резултате. Питање узорка је довољно велико за посебан текст, али овде је довољно истаћи да је врло могуће да је ово истраживање спроведено на студентима психологије (као и претежан део психолошких истраживања), чиме се генерализовање на популацију неке земље озбиљно доводи у питање, а самим тим и било каква поређења становника ових земаља.
Шта нам онда ови подаци говоре? Могуће је да ови подаци указују на нешто, али из свега до сада приложеног можемо са сигурношћу да закључимо да резултати овог конкретног истраживања не указују да су становници неких земаља толерантније од других. Додуше, могуће је да ови подаци не указују апсолутно ни на шта. Видимо да је разлика између најудаљенијих држава - Србије и Чешке - укупно 149 милисекунди. Без улажења у закључивање на основу статистике (снаге теста, величине ефекта, итд), поставља се питање да ли заиста можемо да на основу распона од 149 милисекунди да говоримо о неким реалним разликама између људи или група људи (макар када је реч о сложеним психичким феноменима) или да очекујемо да ће се ова разлика одразити на понашање људи.
Чија деца су најпаметнија
Након велике реакције у немачким медијима око ПИСА резултата, који према мишљењу јавности нису на задовољавајућем нивоу, Harding Center for Risk Literacy огласио се саопштењем у којем се указује на неадекватност поређења образовних система различитих земаља на основу резултата тестирања. Пре него што уђемо у детаље њихове критике, треба истаћи да се ко ће учествовати у тестирању од целокупне популације ученика одређује узорковањем, односно одабиром дела популације који треба веродостојно да представља целокупну популацију, о чему сам писао у другом тексту.
Проблем који наводе аутори је да у неким азијским земљама, које се обично налазе у самом врху по постигнућу на ПИСА тестовима, велики проценат ученика који треба да учествују у ПИСА тестирању (што се одређује узорковањем) се из различитих разлога не појави на тестирању (тзв. dropout rate). Наиме, само 80% претходно изабраних ученика заиста и учествује у ПИСА тестирању у овим азијским земљама, док је та бројка у Немачкој преко 95%. Чланови овог центра указују да постоји сумња да се ученици у азијским земљама са очекиваним слабијим постигнућем напрасно разболе на дан тестирања и да бивају замењени ученицима за које се очекује да ће остварити више постигнуће. Овакви примери нису изолован случај. Постоји анегдота са неког од претходних ПИСА тестирања у Србији када су једног ученика упитали за име, а који је збуњено одговорио „Мислите на моје име или на име друга уместо кога су ме послали да радим тест?“
У другом делу објашњења слабијих резултата Немачке на ПИСА тестирању, аутори наводе све већу заступљеност миграната у немачким школама који у просеку постижу слабије резултате него немачка деца, посебно јер су деца која су дошла из других земаља и даље у процесу савладавања немачког језика. Они одбацују Канаду, која се користи као контра-аргумент, где такође има пуно миграната у школама, јер, како кажу, ситуација је потпуно супротна - њихова имиграциона политика је ригорознија и заправо су мигранти који долазе у Канаду у просеку успешнији него канадски ученици, тако да ова деца позитивно утичу на просек постигнућа целе земље.
На крају, као што сам навео на примеру толеранције, и овде се поставља питање шта нам тачно говори разлика од нпр. 16 поена у постигнућу на читалачкој писмености када поредимо постигнућа различитих држава? Да ли се ту уопште може говорити о некој значајној разлици?
Закључак свакако није да је ПИСА тестирање неважно, већ да би мање пажње требало придавати поређењу са другим земљама, а више на анализирање задатака који су били посебно проблематични ученицима, као и компетенција које стоје у позадини, које ученици нису развили током свог досадашњег образовања. Истину говорећи, координатори ПИСА тестирања у Србији се труде да јавности пренесу управо ову поруку када имају прилику да гостују у медијским емисијама, за разлику од новинара када пишу ауторске текстове на ову тему, који се фокусирају на поређење са другим земљама.
Наведени примери служе да илуструју важност отварања црне кутије истраживачког процеса и коришћења подробнијих анализа ради детаљног преиспитивања ваљаности изнешених закључака на основу података. Често није довољно само обратити пажњу на график или прочитати резиме студије и понуђене закључке. Посебно након сусрета са истраживањима из домена друштвених наука или јавног мњења и поготово ако су ти сусрети путем медија - треба поставити питања о коришћеној методологији, начинима мерења варијабли, узорку, итд. Једино постављањем ових и сличних питања може се развити добра осетљивост за критичко тумачење резултата истраживања и спречити скретање у погрешне закључке.