Kai akademinės studijos suklydo, jie dažnai kaltinami netinkamu elgesiu ir sukčiavimu. Vis dėlto kaip Michaelas Ganslmeieris ir „Vlandas“ komanda ginčytis, net ir geros patikėjimo tyrimaiAr Atliekama naudojant standartinius metodus ir skaidrius duomenis, gali pateikti prieštaringas išvadas.
Naujausi ginčai dėl tyrimų skaidrumo sukėlė ilgalaikį susirūpinimą dėl empirinių įrodymų trapumo socialiniuose moksluose. Nors kai kurios diskusijos buvo sutelktos į netinkamą elgesį ir sukčiavimą, ne mažiau svarbus iššūkis yra rezultatų jautrumas gynybiniam modeliavimo pasirinkimui: kas būtų, jei labiau paplitusi problema kiltų gilesnėje, o ne individualiame netinkamame elgesyje, bet kaip mes atliekame empirinius tyrimus?
Naujame tyrime mes ketinome įvertinti politikos mokslų išvadų trapumą klausdami, kiek keičiasi empiriniai rezultatai, kai tyrėjai skiriasi protingais ir vienodai pagrįstais modeliavimo pasirinkimais?
Norėdami atsakyti į šį klausimą, mes įvertinome daugiau nei 3,6 milijardo regresijos koeficientų keturiose plačiai ištirtose politikos mokslų temose: gerovės dosnumą, demokratizaciją, viešųjų gėrybių teikimą ir institucinį pasitikėjimą – nors šiame tinklaraščio įraše pateikiame tik pastaruosius tris rezultatus. Kiekvienai temai būdingos nusistovėjusios teorijos, stiprios priorės ir išsami empirinė literatūra.
Mūsų rezultatai atskleidžia ryškų modelį: tas pats nepriklausomas kintamasis dažnai duoda ne tik reikšmingų ir nereikšmingų koeficientų, bet ir labai daug statistiškai Reikšmingas teigiamas ir statistiškai Reikšmingas neigiamas Poveikis, atsižvelgiant į tai, kaip nustatomas modelis. Taigi net ir gerų tikėjimo tyrimai, atlikti naudojant standartinius metodus ir skaidrius duomenis, gali pateikti prieštaringų išvadų.
Naujas požiūris į jautrumo analizę
Naujausi pasiekimai, tokie kaip išankstinė registracija, replikacijos failai ir registruotos ataskaitos, žymiai pagerino tyrimų skaidrumą. Tačiau jie paprastai prasideda nuo iš anksto nurodyto modelio ir net tada, kai tyrėjai laikosi geriausios praktikos, jie vis tiek susiduria su vienodai tikėtinų sprendimų serija: kuriuos metus ar šalimis įtraukti, kaip apibrėžti tokias sąvokas kaip „gerovės dosnumas“, ar ir kokį fiksuotą efektą naudoti, ar ir kaip koreguoti standartines klaidas ir pan.
Kiekvienas iš šių pasirinkimų gali atrodyti nedideli, o daugelis tyrėjų jau naudoja platų patikimumo patikrinimą, kad ištirtų jų poveikį. Tačiau šie sprendimai apibrėžia visą modeliavimo visatą ir naršydami tą erdvę gali didelę įtaką rezultatams. Standartiniai patikimumo patikrinimai dažnai nagrinėja vieną sprendimą vienu metu, o tai gali praleisti bendrą daugelio pagrįstų modeliavimo būdų įtaką kartu.
Norėdami sistemingai nubrėžti tą modelio erdvę, mes sujungėme „Extreme Bounds“ analizės įžvalgas ir daugialypį požiūrį. Tada mes keitėme penkis pagrindinius empirinio modeliavimo dimensijas: kovariatoriai, pavyzdys, rezultatų apibrėžimai, fiksuotas efektas ir standartinis klaidų įvertinimas. Tikslas buvo ne patikrinti nei vienos hipotezės, nei iš tikrųjų atkartoti ankstesnius tyrimus, o vietoj to stebėti, kiek pagrindinių koeficientų ženklas ir reikšmė keičiasi pagal patikimus modelio specifikacijas.
Empirinių tyrimų trapumas
Daugeliui kintamųjų, dažniausiai naudojamų empiriniams teiginiams paremti, mes nustatėme daugybę modelių specifikacijų, kai apskaičiuotas poveikis buvo teigiamas ir statistiškai reikšmingas, taip pat kiti, kur jis buvo stipriai neigiamas ir statistiškai reikšmingas (1 paveikslas).
1 paveikslas: Svarbių koeficientų dalijimasis modelio erdvėje trijoms temoms
PASTABA: Plokštės pateikia visų nepriklausomų kintamųjų (atitinkamai teigiamų ir neigiamų) reikšmingų koeficientų (atitinkamai mėlyną ir raudoną) dalį neribotos modelio visatoje trims bandymo atvejams: demokratizavimui, regioniniam aprūpinimui ir instituciniam pasitikėjimui. Punktyrinė linija rodo 90%. Figūra pritaikyta iš autorių pridedamo straipsnio Nacionalinės mokslų akademijos leidiniai (PNA).
Viena aiški reikšmė yra ta, kad įprastas patikimumo patikrinimas, nors ir vertingas, vis dar gali būti per ribotas. Tyrėjai dažnai keičia kontrolės kintamuosius, įvertinimo metodus ar mėginius, kad įvertintų jų išvadų stabilumą. Tačiau tiriant modeliavimo sprendimus atskirai, šie patikrinimai paprastai taikomi nuosekliai ir savarankiškai. Mūsų rezultatai rodo, kad šis požiūris gali praleisti didesnį vaizdą: ne tik tai, kurie sprendimai priimami, bet ir tai, kaip jų derinys lemia empirinių rezultatų stabilumą.
Sistemingai ištyrę plačią modeliavimo erdvę, automatizuodami tūkstančius pagrįstų kovariatorių, mėginių, įverčių ir operacijų derinių, mūsų požiūris gali įvertinti bendrą modeliavimo pasirinkimo įtaką. Tai leidžia mums nustatyti trapumo modelius, kurie nematomi į įprastus patikrinimus.
Modelio neapibrėžtumo šaltiniai
Savo tyrime įvertinome šių skirtingų modelio specifikacijos pasirinkimo funkcijų svarbos balus. Norėdami tai padaryti, pirmiausia išvežėme atsitiktinį 250 000 regresijos koeficientų rinkinį iš neribotos modelio visatos kiekvienai temai. Tada mes pritaikėme neuroninį tinklą, kad numatytume, ar įvertinimas yra „neigiamas reikšmingas“, „teigiamas reikšmingas“ ar „ne reikšmingas“.
2 paveikslas: Modelio specifikacijos sprendimų ypatybių svarbos balai
PASTABA: Plokštės rodo funkcijų svarbos balus (FAP vertes) skirtingų modelio specifikacijos pasirinkimo variantams. Figūra pritaikyta iš autorių pridedamo straipsnio Nacionalinės mokslų akademijos leidiniai (PNA).
2 paveiksle parodyta, kad didžiausią variacijos šaltinį lemia ne kontrolės kintamieji per se, o greičiau priimant sprendimus dėl imties kūrimo – kurie šalys ar laikotarpiai yra įtraukiami – ir kaip apibrėžiami pagrindiniai rezultatai. Šie aukščiau esančios sprendimai, dažnai priimami anksti ir traktuojami kaip fonas, daro didelę įtaką tam, ar rezultatai yra statistiškai reikšmingi ir kuria kryptimi.
Empirinių tyrimų pamokos
Aišku, mūsų išvadų reikšmė nėra ta, kad kiekybiniai socialiniai mokslai yra beprasmiški. Priešingai, mūsų darbas pabrėžia sistemingai supratimo, kur rezultatai yra stiprūs, vertę ir kur (ir kodėl) jie gali būti mažiau stabilūs.
Taikydami šį naują požiūrį, mes tikimės pateikti papildomą įrankį, kurį tyrėjai gali naudoti atlikdami sisteminius patikimumo patikrinimus ir padidinti skaidrumą. Šiuo tikslu pateikiame savo kodą, kurį būsimi tyrimai gali naudoti analizuoti ir vizualizuoti modelio erdvę aplink rezultatą.
Norėdami gauti daugiau informacijos, skaitykite autorių pridedamą popierių Nacionalinės mokslų akademijos leidiniai (PNA).
Pastaba: Šis straipsnis pateikia autorių nuomonę, o ne Europos – Europos politikos ir politikos ar Londono ekonomikos mokyklos poziciją. Teminis vaizdo kreditas: „Lightspring“ / Shutterstock.com
