Kaip vertiname

ÜBERMAD apibendrina tyrimus apie tai, kaip padaryti tai, ką sumanei. Šiame puslapyje paaiškiname, kokius tyrimus naudojame, kaip juos skaitome ir ką reiškia žvaigždutės. Visiems įrankiams galioja tos pačios taisyklės.

Įrašai ir įrankiai

Kiekvienas įrašas apibendrina vieną tyrimą arba vieną apžvalgą. Jame yra viena ar kelios išvados. Kiekviena išvada yra vienas sakinys apie tai, ką tyrimas rado.

Prie kiekvienos išvados pažymėti įrankiai, su kuriais ji susijusi. Įrankiai būna dviejų rūšių:

• Veiksmai yra tai, ką darai, pavyzdžiui, „Sek savo pažangą“.
• Taisyklės nusako, kada, kur, kaip, kaip dažnai, kiek arba su kuo, pavyzdžiui, „Prieš einant miegoti“.

Tas pats įrankis gali būti keliuose įrašuose, todėl įrankio puslapyje matai visus tyrimus, kuriuose jis yra. Žvaigždutes gauna tik įrankiai. Šiuo metu svetainėje yra 153 paskelbti įrašai ir 100 įrankių.

Išbandyta ir naudota

Kiekvienas išvados įrankis pažymimas vienu iš dviejų būdų:

• Išbandyta: būtent juo skyrėsi grupės. Jis išbandytas vienas arba kartu su kitais išbandytais įrankiais.
• Naudota: jį turėjo visi tyrime dalyvavę žmonės, arba tai buvo tai, ką žmonės stengėsi padaryti, o ne būdas tai padaryti.

Žvaigždutėms skaičiuojami tik išbandyti įrankiai. Įrankio puslapyje rodomi abu. Todėl kasdienis pasivaikščiojimas gali būti daugelyje tyrimų ir negauti įvertinimo. O žvaigždutes gauna taisyklės, kurios padėjo žmonėms ir toliau vaikščioti.

Programos pateikimo būdas (su treneriu, grupėje, per programėlę, kas savaitę vykstančiuose užsiėmimuose) laikomas išbandytu tik tada, kai grupės skyrėsi būtent juo. Kai grupinis kursas aplenkia laukiančiųjų grupę, išbandytas buvo kursas, o ne tai, kad jis vyko grupėje.

Temos

Kiekviena išvada gauna lygiai vieną temą. Tema priklauso tik nuo to, ką tyrimas matavo. Ji niekada nepriklauso nuo būdo, nuo to, kas dalyvavo, ar nuo straipsnio pavadinimo. Tas pats įrankis gali būti įvertintas keliose temose, ir įvertinimai gali skirtis.

• AtidėliojimasMatuoja: kada pradedi ar baigi užduotį, palyginti su tuo, kada ketinai: klausimynai apie atidėliojimą, kiek laiko praeina iki pradžios, pavėluoti darbai, ėjimas miegoti vėliau, nei ketinai.
• DėmesysMatuoja: dėmesys užduočiai, kol ją atlieki: laikas prie užduoties, klaidžiojančios mintys, trukdžiai ir telefono tikrinimas darbo metu.
• Laiko planavimasMatuoja: kaip planuoji, renkiesi, kas svarbiausia, ir vertini laiką: laiko planavimo klausimynai, planuoklio ar kalendoriaus naudojimas, kaip gerai atspėji, kiek laiko užtruks darbai.
• ĮpročiaiMatuoja: kiek automatiškas kas nors atrodo įprastoje situacijoje; tai matuojama įpročių klausimynais.
• DienotvarkėMatuoja: kiek reguliari tavo kasdienė veikla: reguliarus ėjimo miegoti ir kėlimosi laikas, dienotvarkės užduočių sąrašai, laiku atlikti žingsniai.
• TikslaiMatuoja: kiek padaryta: pasiekti tikslai, baigtos užduotys ar namų darbai, kaip dažnai žmonės mankštinosi, ar vaistai vartoti pagal planą, pažymiai ir darbo rezultatai.
• MotyvacijaMatuoja: susidomėjimas, įsitraukimas ar pasitikėjimas savimi kaip pagrindinis rezultatas. Šias išvadas saugome, bet žvaigždučių nerodome, kol įrodymų nebus pakankamai.
• Kiti rezultatai: savijauta, stresas, nuotaika, aktyvumo ir dėmesio sutrikimo (ADHD) simptomų suma, bendri savikontrolės įverčiai ir kiek žmonės naudojosi pačia programa. Jie užrašomi, bet niekada nevertinami.

Jei viena išvada tinka dviem temoms, ji priskiriama tam rezultatui, apie kurį kalba jos teiginys. Būdai, tokie kaip planai „jei–tada“ ar darbas šalia kito žmogaus, niekada nėra temos. Tai įrankiai, vertinami kiekvienoje temoje, kurioje buvo išbandyti.

Žvaigždutės

Kiekvienas įrankis kiekvienoje temoje gauna du įvertinimus, nuo 1 iki 4 žvaigždučių:

• Įrodymai: kiek galime būti tikri.
• Galima nauda: kiek tai galėtų padėti.

Įrankių kortelėse rodoma abiejų įvertinimų suma, nuo 2 iki 8, tai temai, kurią žiūri. Įrankių puslapiuose abu įvertinimai visada rodomi atskirai.

Įrodymai

Gerai kontroliuojamas tyrimas yra toks, kuriame žmonės atsitiktinai suskirstyti į grupes. Be to, jame yra bent vienas iš šių dalykų: palyginimas su kitu tikru pasirinkimu ar kita versija, 100 ar daugiau žmonių, elgesys buvo užfiksuotas, o ne vertintas pačių žmonių, arba planas, užregistruotas prieš tyrimo pradžią.

Už kiekvieną iš šių dalykų atimame vieną žvaigždutę, bet niekada nenuleidžiame žemiau vienos:

• Visur buvo lyginama tik su laukiančiųjų grupe arba su niekuo, ir visi vertino patys.
• Kiekvienas tyrimas, kuriuo remiasi įvertinimas, turi rimtą trūkumą: yra tik trumpa santrauka, kiti mokslininkai jo dar nepatikrino, į grupes skirstyti ištisi kolektyvai, o ne atskiri žmonės, neaišku, kaip sudarytos grupės, skaičiuoti tik tie, kurie baigė, daug žmonių pasitraukė, skaičiai nesutampa, grupės nebuvo tinkamai palygintos, santraukoje teigiama daugiau, nei rodo rezultatai, arba tyrimas labai mažas.
• Tyrimų rezultatai prieštarauja vieni kitiems.

Galima nauda

Dydį nustatome pagal geriausią turimą sąžiningą patikrinimą. Pirmiausia imame gerai kontroliuojamą tyrimą, kuris įrankį išbandė atskirai. Jei tokio nėra, imame tokį, kuris jį išbandė su kitais įrankiais, o jei ir tokio nėra, bet kurį tyrimą. Sąžiningas patikrinimas lygina įrankį su kitu tikru pasirinkimu arba fiksuoja elgesį. Rezultatas, gautas lyginant su laukiančiųjų grupe ar su niekuo, kai žmonės vertino patys, skaičiuojamas viena žvaigždute mažiau. Taip yra todėl, kad žmonės, kurie tikisi pagerėjimo, save vertina geriau.

• Galima nauda negali būti daugiau nei viena žvaigždute aukščiau už įrodymus: menki įrodymai negali žadėti didelės naudos.
• Keturioms naudos žvaigždutėms reikia tyrimo, kuriame dalyvavo bent 100 žmonių, nes maži tyrimai pervertina poveikį.
• Kai įrodymų žvaigždutė tik viena, nauda yra tik apytikslė ir pažymėta „apyt.“. Tada ji gali turėti daugiausia dvi žvaigždutes.
• Kai tyrimas rado, kad tai padėjo, bet poveikio dydžio nepaskelbė, jis duoda dvi naudos žvaigždutes.
• Kiekvieno įrankio puslapyje parašyta, su kuo nauda buvo lyginama. Tai svarbu: palyginus su kitu geru pasirinkimu, nauda gali atrodyti maža net tada, kai įrankis padeda.

Sakinys po žvaigždutėmis

Prie kiekvieno įvertinimo yra vienas sakinys, kurio žodžiai atitinka žvaigždutes. Kai įrodymų žvaigždutės keturios, rašome „padeda“, kai trys – „tikriausiai padeda“, kai dvi – „gali padėti“, o kai viena – „per anksti sakyti“. Naudos žvaigždutės nusako, kiek: daug, tiesiog padeda, šiek tiek arba mažai ką keičia ar visai nekeičia.

ADHD įvertinimai ir rankiniai pakeitimai

Kai yra tyrimų su žmonėmis, turinčiais ADHD, įrankis gauna ir atskirą įvertinimą tik iš tų tyrimų. Jis rodomas atskiroje eilutėje. Žmogus gali pakeisti įvertinimą daugiausia viena žvaigždute ir tik nurodęs rašytinę priežastį. Ją rodo įrankio puslapis. Įvertinimai apskaičiuojami iš naujo kaskart, kai pasikeičia įrašas.

Apibendrintos kelių tyrimų analizės

Apžvalga, kuri sujungia daugelio tyrimų rezultatus, irgi skaičiuojama. Kiekvienas apibendrintas rezultatas laikomas viena išvada. Žvaigždutes nustato geresnis iš dviejų variantų: įprastos tyrimų taisyklės arba šios:

• Jei apžvalgos autoriai patys įvertino, kiek tikri jų rezultatai, aukštas patikimumas duoda keturias įrodymų žvaigždutes, vidutinis – tris, žemas – dvi, o labai žemas – vieną. Programos, kurios jungia kelis įrankius, gauna daugiausia tris.
• Kitu atveju apžvalga laikoma patikima tik tada, jei ji apibendrino bent penkis tyrimus, įvertino jų kokybę ir patikrino, ar netrūksta tyrimų. Nepatikima apžvalga duoda daugiausia dvi žvaigždutes.
• Atimame vieną žvaigždutę, jei matyti ženklų, kad maži tyrimai, neradę naudos, liko nepaskelbti. Įvertinimas sustoja ties dviem, kai daugumoje apibendrintų tyrimų buvo rimtų trūkumų.
• Tyrimas, kurį apžvalga jau apibendrino, tam pačiam įrankiui atskirai nebeskaičiuojamas.

Ekspertų patarimai

Tinklalaidės ir straipsniai neturi savų tyrimų rezultatų. Jų išvadose užrašoma, kas tai pasakė ir ar tas žmogus tai rekomenduoja, ar perspėja to nedaryti. Kiekvienas žmogus kiekvienoje temoje gauna lygį:

• Aukštas: yra paskelbęs kitų mokslininkų patikrintų tyrimų šia tema arba kalba gairių ar profesinės organizacijos vardu.
• Vidutinis: turi tinkamą profesinę kvalifikaciją arba yra mokslo žurnalistas, kuris cituoja tyrimus.
• Žemas: visi kiti.

Jei žmogus parduoda tai, ką rekomenduoja, jo lygis sumažėja vienu. Vien ekspertų patarimai gali duoti daugiausia dvi įrodymų žvaigždutes, o jų nauda visada apytikslė. Kai yra tyrimų, žvaigždutes nustato tyrimai. Jei tyrimai rado mažai naudos arba jokios, o ekspertas tai rekomenduoja, puslapyje taip ir parašyta. Tinklalaidžių ir straipsnių svetainėje dar nėra.

Kaip atrenkami tyrimai

Tyrimų ieškome mokslinėje literatūroje pagal kiekvieną temą. Tada kiekvienas tyrimas turi pereiti tris atrankos etapus. Kiekvienas etapas pigesnis už tolesnį, todėl didžioji atrankos dalis vyksta anksti.

1. Prieš skaitant visą tekstą: pagal pavadinimą, santrauką ir kitus duomenis tikriname, ar tyrimas atitinka temą, ar jame pateikti rezultatai ir ar jis nebuvo atšauktas. Tyrimai, kurių viso teksto negalime gauti teisėtai, laukia. Jie niekada nevertinami vien pagal santrauką.
2. Visas tekstas: dirbtinio intelekto (DI) modelis atsako į nustatytus klausimus. Klausimai yra apie tyrimo planą, palyginimo grupę, ar tai, ką žmonės darė, aprašyta pakankamai, kad tyrimą būtų galima pakartoti, apie tai, kas buvo matuojama, skaičius pagal grupes ir tyrimo dydį. Sprendimą iš atsakymų priima kodas, o ne modelis.
3. Išsamus skaitymas: antras DI modelis perskaito visą straipsnį kartu su lentelėmis. Jis užpildo nustatytą formą ir prie kiekvieno atsakymo pateikia trumpą citatą: programos dalys, palyginimas, kiek žmonių dalyvavo, šališkumo rizika ir pavojaus ženklai, pavyzdžiui, skaičiai, kurie skirtingose straipsnio dalyse nesutampa. Kodas vėl pritaiko taisykles. Kiekvienas atmetimas dėl nepatikimų skaičių dar patikrinamas rankomis pagal citatas.

Kiekviename etape tyrimas gali būti priimtas, priimtas su įspėjimu, atmestas nurodant priežastį arba atidėtas, kol ko nors laukia. Jei tyrimas į svetainę pateko su įspėjimu, jo tyrimo eilutėje rodomas ženklas ⚠.

Straipsnių rūšys

Ne kiekvienas naudingas straipsnis išbando įrankį, todėl atrankos etapuose straipsniai dar skirstomi pagal rūšį:

• Lyginamieji tyrimai, kurie lygina įrankį su kuo nors kitu, skaičiuojami jo žvaigždutėms.
• Įžvalgos: tyrimai, kuriuose žmonės buvo stebimi arba sekama viena grupė. Jų išvados pasako, kas rasta, pavyzdžiui, per kiek laiko susiformuoja įpročiai. Tačiau jos niekada nekeičia žvaigždučių.
• Teorijos aiškina, kodėl kas nors galėtų veikti. Jos niekada nekeičia žvaigždučių, kad ir kokios populiarios būtų: populiarios teorijos jau yra neišlaikiusios tiesioginių patikrinimų.
• Apibendrintos kelių tyrimų analizės gali keisti žvaigždutes pagal aukščiau aprašytas taisykles.

Kur straipsnis patenka, lemia jo rūšis, o ne kokybė.

Kaip rašomos santraukos

Santraukos rašomos padedant DI pagal visą kiekvieno tyrimo tekstą. Tada jos perrašomos paprasta kalba, kad suprastų ir 12–14 metų paauglys. Kiekvienas faktas lieka toks pat tikslus kaip originale. Santraukas tikrina automatinės patikros ir DI modelių peržiūros. Vienas DI modelis patikrino kiekvieną rezultatą, kiek rimtas kiekvienas trūkumas, ar grupės sudarytos atsitiktinai ir kokio pobūdžio rezultatas buvo matuojamas. Antras modelis išsprendė kiekvieną nesutarimą ir dar kartą perskaitė kiekvieną išvadą, ieškodamas teiginių, stipresnių, nei rodo tyrimas.

Tyrimo eilutė po kiekviena išvada sudaroma iš duomenų, o ne rašoma laisvai. Joje yra tyrimo dydis ir tipas, kas dalyvavo, su kuo lyginta, ar žmonės vertino patys, ar jų elgesys buvo užfiksuotas, ir rimtos problemos, jei jų yra. Kiekvienai prasmei visoje svetainėje naudojame vieną žodį. Pavyzdžiui, išvadose visada rašome „atidėlioti“, o ne tarptautinį šio žodžio atitikmenį. Iliustracijos sukurtos DI vaizdų įrankiais.

Kaip verčiame į lietuvių kalbą

Lietuviška svetainė išversta iš anglų kalbos. Štai kaip verčiame ir tikriname:

• Tekstą verčia DI modelis. Jis laikosi žodynėlio, kad kiekvienas dalykas visoje svetainėje būtų vadinamas tuo pačiu žodžiu.
• Žvaigždučių, rezultatų ir tyrimų dydžių DI neverčia. Juos aprašo iš anksto parašyti lietuviški sakiniai, kurie užpildomi tais pačiais duomenimis kaip angliškoje svetainėje.
• Automatinės patikros lygina vertimą su angliškuoju tekstu. Jos tikrina, ar sutampa visi skaičiai, ar neprarastas nė vienas neiginys, pavyzdžiui, „ne“, ir ar liko atsargūs žodžiai, tokie kaip „gali“ ar „tikriausiai“.
• Antras DI modelis dar kartą peržiūri vertimą ir ieško prasmės klaidų.
• Vertimą galima taisyti turinio valdymo sistemoje, kur angliškas ir lietuviškas tekstai rodomi greta. Ten matyti ir automatinių patikrų rezultatai.
• Kai pasikeičia angliškas tekstas, vertimas pažymimas kaip pasenęs. Kol jis bus atnaujintas, rodomas senasis vertimas.

Įrašų ir įrankių puslapiuose po antrašte parašyta, ar vertimą peržiūrėjo žmogus. Jei neperžiūrėjo, matysi „Išversta iš anglų kalbos naudojant DI ir patikrinta automatiškai“. Jei peržiūrėjo, matysi, kas tai padarė ir kada.

Jei lietuviškas ir angliškas tekstai skiriasi, teisingas yra angliškas. Originalą rasi per nuorodą po antrašte arba pasirinkęs „English“ puslapio viršuje.

Apribojimai

• Dauguma šios srities tyrimų yra maži, ir daugelis jų turi rimtų trūkumų. Kol kas nė vienas įrankis neturi keturių įrodymų žvaigždučių.
• Žvaigždutės rodo, ką tyrimai rado vidutiniškai, o ne tai, kas padės būtent tau.
• Nauda priklauso nuo to, su kuo buvo lyginama. Įrankis gali būti geresnis už nieką ir vis tiek nusileisti kitam įrankiui.
• Įvertinimas vienoje temoje nieko nesako apie kitą temą.
• Rezultatai vienoje grupėje, pavyzdžiui, tarp studentų ar žmonių su sveikatos sutrikimais, gali netikti kitiems.
• Taisyklės nustatytos iš anksto, todėl gali praleisti tai, ką pastebėtų atidus skaitytojas.
• DI gali klysti, o ne kiekvieną santrauką ir ne kiekvieną vertimą patikrino žmogus.
• Vertiname tik tuos tyrimus, kurių visą tekstą galėjome perskaityti teisėtai.

Tai ne medicininis patarimas

ÜBERMAD apibendrina tyrimus. Tai nėra medicininis patarimas, ir svetainė negali pasakyti, kas tinka būtent tau. Puslapiai apie ADHD nėra diagnozė ar gydymo patarimas. Pasitark su gydytoju ir nenutrauk ar nekeisk gydymo dėl to, ką perskaitei čia.

Pastebėjai klaidą? Skaityk skyrių Klaidų taisymas.