ROC analiza – AUC, senzitivnost i specifičnost
STATISTIČKA ANALIZA PODATAKA

ROC analiza – procjena dijagnostičke i klasifikacijske sposobnosti

ROC analiza koristi se za procjenu sposobnosti dijagnostičkog testa, biomarkera, mjernog pokazatelja ili statističkog modela da razlikuje dvije unaprijed definisane kategorije ishoda. Često se primjenjuje u medicinskim, biostatističkim i zdravstvenim istraživanjima kada je potrebno procijeniti koliko određeni pokazatelj uspješno razdvaja ispitanike sa i bez posmatranog stanja ili događaja.

Osnovu analize predstavlja ROC kriva (Receiver Operating Characteristic curve), koja prikazuje odnos između senzitivnosti i stope lažno pozitivnih rezultata, odnosno 1 − specifičnosti, pri različitim vrijednostima praga klasifikacije. Na taj način moguće je procijeniti kako se klasifikacijske karakteristike testa mijenjaju kada se mijenja odabrani prag.

Jedan od najvažnijih pokazatelja ROC analize je AUC – površina ispod ROC krive (Area Under the Curve). AUC predstavlja zbirnu mjeru sposobnosti analiziranog pokazatelja da razlikuje dvije kategorije ishoda kroz različite pragove klasifikacije. Veća vrijednost AUC-a u pravilu ukazuje na bolju diskriminacijsku sposobnost, ali se rezultat mora tumačiti zajedno sa intervalom pouzdanosti, karakteristikama uzorka i istraživačkim kontekstom.

ROC analiza omogućava i razmatranje različitih cut-off vrijednosti, senzitivnosti i specifičnosti. Izbor odgovarajućeg praga ne treba zasnivati samo na jednom statističkom kriteriju, jer prihvatljiv odnos između senzitivnosti i specifičnosti zavisi i od cilja istraživanja te posljedica lažno pozitivnih i lažno negativnih klasifikacija.

U zavisnosti od istraživačkog problema, rezultati mogu uključivati ROC krivu, AUC, standardnu grešku ili interval pouzdanosti za AUC, senzitivnost, specifičnost i procjenu relevantnih pragova. Kada se poredi više dijagnostičkih pokazatelja ili modela, može biti potrebno i statističko poređenje njihove diskriminacijske sposobnosti, uz izbor postupka koji odgovara dizajnu i strukturi podataka.

ROC analiza često predstavlja dio šire biostatističke analize ili medicinske statistike. Zbog toga se njeni rezultati ne tumače izolovano, već u odnosu na istraživačko pitanje, karakteristike ispitanika, način definisanja ishoda i kliničko ili naučno značenje analiziranog pokazatelja.

Stručna podrška za ROC analizu i procjenu dijagnostičke sposobnosti dostupna je studentima, istraživačima i doktorandima iz Bosne i Hercegovine, Srbije, Hrvatske, Slovenije, Crne Gore i drugih zemalja Balkana, kao i studentima iz dijaspore. Saradnja se organizuje online za akademske i istraživačke projekte iz Sarajeva, Banje Luke, Travnika, Bijeljine, Mostara, Tuzle, Zenice, Beograda, Novog Sada, Kragujevca, Zagreba, Splita, Maribora, Ljubljane i drugih gradova u regionu i inostranstvu.

PROCES SARADNJE

Kako funkcioniše saradnja za ROC analizu?

ROC analiza započinje pregledom istraživačkog problema, strukture podataka i načina na koji je definisan posmatrani ishod. Prije provođenja analize potrebno je jasno odrediti binarni ishod, analizirani dijagnostički pokazatelj, biomarker, test ili prediktivni model kako bi se pravilno procijenila njegova sposobnost razlikovanja između dvije kategorije.

01

Pošaljite bazu i kompletan materijal istraživanja

Za početnu procjenu potrebno je dostaviti bazu podataka, temu istraživanja, ciljeve, istraživačka pitanja ili hipoteze, opis uzorka, metodologiju i informacije o analiziranom dijagnostičkom pokazatelju ili biomarkeru. Ako je ROC analiza već predviđena metodologijom ili zahtjevom mentora, potrebno je dostaviti i te smjernice.

Posebno je važno jasno navesti koja varijabla predstavlja referentni binarni ishod i koja varijabla predstavlja test, biomarker, skor ili drugi pokazatelj čija se diskriminacijska sposobnost procjenjuje. Potrebno je navesti i kako su dvije kategorije ishoda definisane i kodirane u bazi podataka.

Ako postoje prethodne analize, određeni cut-off pragovi, smjernice mentora, klinički kriteriji ili posebni zahtjevi za prikaz rezultata, potrebno ih je poslati zajedno sa ostalim materijalom.

02

Pregled podataka i provjera uslova za ROC analizu

Nakon prijema materijala pregledaju se struktura baze, tipovi varijabli, kodiranje ishoda, veličina uzorka, raspodjela analiziranog pokazatelja, nedostajuće vrijednosti i eventualne ekstremne vrijednosti. Cilj je utvrditi da li su podaci pravilno pripremljeni za ROC analizu.

Posebna pažnja posvećuje se tome da referentni ishod bude jasno definisan i da je poznato koja kategorija predstavlja pozitivno, a koja negativno stanje. Nepravilno definisan smjer klasifikacije može dovesti do pogrešnog prikaza ROC krive i pogrešne interpretacije AUC-a.

Ako se poredi više testova, biomarkera ili modela, provjerava se da li su rezultati dobijeni na istim ili različitim ispitanicima i koji način poređenja odgovara strukturi podataka.

03

ROC analiza – AUC, senzitivnost i specifičnost

Nakon pregleda podataka pristupa se provođenju ROC analize i izradi ROC krive. Analiziraju se različite vrijednosti praga i njihov odnos sa senzitivnošću i specifičnošću analiziranog testa, biomarkera ili modela.

Posebno se procjenjuje AUC – površina ispod ROC krive, koja daje zbirnu informaciju o diskriminacijskoj sposobnosti analiziranog pokazatelja kroz različite pragove klasifikacije. Kada je odgovarajuće, prikazuje se i interval pouzdanosti za AUC.

U zavisnosti od cilja istraživanja mogu se razmotriti i različite cut-off vrijednosti i odnos između senzitivnosti i specifičnosti pri pojedinim pragovima. Izbor praga ne zasniva se automatski samo na jednom statističkom kriteriju, već se uzima u obzir i praktični ili klinički kontekst istraživanja.

04

Interpretacija rezultata i završna dostava

Dobijeni rezultati tumače se u odnosu na istraživačka pitanja, vrijednost AUC-a, interval pouzdanosti, senzitivnost, specifičnost, odabrane pragove i karakteristike uzorka. Posebna pažnja posvećuje se pravilnom objašnjenju diskriminacijske sposobnosti analiziranog testa ili pokazatelja.

Završni materijal može obuhvatiti ROC krivu, AUC, interval pouzdanosti, senzitivnost, specifičnost, tabelu mogućih pragova, statističke rezultate i stručnu interpretaciju pripremljenu za diplomski, master ili doktorski rad, naučni članak ili drugi biomedicinski i zdravstveni istraživački projekat.

Ako je ROC analiza dio šireg biomedicinskog istraživanja, dodatni statistički postupci mogu biti obuhvaćeni kroz biostatistiku ili medicinsku statistiku, u zavisnosti od cilja i strukture istraživanja.

Ako mentor naknadno zatraži dodatne ROC krive, poređenje većeg broja testova ili modela, nove pragove, dodatne ishode ili značajno proširenje prvobitnog zahtjeva, takav dodatni obim statističkog rada procjenjuje se zasebno prije realizacije.

Važna napomena: prilikom prvog javljanja potrebno je poslati sav raspoloživi materijal odjednom — bazu podataka, metodologiju, hipoteze, definiciju ishoda, analizirane pokazatelje, smjernice mentora, postojeće rezultate i druge relevantne dokumente. Na nepotpune upite koji ne sadrže dovoljno informacija za procjenu zahtjeva ne odgovaramo.

ČESTA PITANJA

Najčešća pitanja o ROC analizi

Prije slanja upita pogledajte odgovore na najčešća pitanja o ROC analizi, ROC krivi, AUC vrijednosti, senzitivnosti, specifičnosti i izboru odgovarajućeg praga.

📈 Šta je ROC analiza i kada se koristi?
ROC analiza koristi se za procjenu sposobnosti dijagnostičkog testa, biomarkera, mjernog pokazatelja ili statističkog modela da razlikuje dvije unaprijed definisane kategorije ishoda. Često se koristi u medicinskim, zdravstvenim i biostatističkim istraživanjima.
〰️ Šta predstavlja ROC kriva?
ROC kriva prikazuje odnos između senzitivnosti i stope lažno pozitivnih rezultata, odnosno 1 − specifičnosti, pri različitim vrijednostima praga klasifikacije. Na taj način pokazuje kako se karakteristike testa mijenjaju kada se mijenja cut-off vrijednost.
🔢 Šta znači AUC u ROC analizi?
AUC – Area Under the Curve predstavlja površinu ispod ROC krive i daje zbirnu procjenu diskriminacijske sposobnosti analiziranog testa ili pokazatelja . Veća AUC vrijednost u pravilu ukazuje na bolju sposobnost razlikovanja dvije kategorije, ali se mora tumačiti u kontekstu uzorka i istraživačkog problema.
🎯 Šta su senzitivnost i specifičnost?
Senzitivnost pokazuje sposobnost testa da pravilno prepozna ispitanike koji pripadaju pozitivnoj kategoriji, dok specifičnost pokazuje sposobnost pravilnog prepoznavanja ispitanika koji pripadaju negativnoj kategoriji. Obje mjere zavise od izabranog praga klasifikacije.
✂️ Šta je cut-off vrijednost u ROC analizi?
Cut-off predstavlja graničnu vrijednost prema kojoj se rezultat klasifikuje u jednu ili drugu kategoriju. Promjena cut-off vrijednosti utiče na senzitivnost i specifičnost, pa izbor odgovarajućeg praga mora biti usklađen sa ciljem i kontekstom istraživanja.
⚖️ Postoji li uvijek jedan najbolji cut-off?
Ne nužno. Statistički kriteriji mogu pomoći u izboru odgovarajućeg praga, ali optimalna cut-off vrijednost zavisi i od svrhe testa te posljedica lažno pozitivnih i lažno negativnih rezultata . Zato se prag ne bira automatski samo na osnovu jednog pokazatelja.
📏 Zašto je važan interval pouzdanosti za AUC?
Interval pouzdanosti daje informaciju o preciznosti procijenjene AUC vrijednosti. Zbog toga se AUC ne treba tumačiti samo kao jedna brojčana vrijednost, već zajedno sa intervalom pouzdanosti i karakteristikama analiziranog uzorka.
🔍 Mogu li se porediti dvije ili više ROC krivih?
Da. Kada istraživanje uključuje više testova, biomarkera ili modela, moguće je procjenjivati i razlike u njihovoj diskriminacijskoj sposobnosti. Odgovarajući način poređenja zavisi od toga da li su ROC krive dobijene na istim ili različitim ispitanicima i od strukture samog istraživanja.
🩺 Da li se ROC analiza koristi samo u medicini?
Ne. ROC analiza je veoma česta u medicini i biostatistici, ali se može koristiti i u drugim oblastima kada je potrebno procijeniti sposobnost testa, pokazatelja ili modela da razlikuje dvije kategorije ishoda . Primjena zavisi od istraživačkog problema i prirode dostupnih podataka.
🎓 Može li se ROC analiza koristiti u akademskim radovima?
Da. ROC analiza može biti dio diplomskih, master i doktorskih radova, naučnih članaka, medicinskih, biostatističkih i drugih istraživačkih projekata kada istraživačko pitanje zahtijeva procjenu dijagnostičke ili klasifikacijske sposobnosti određenog pokazatelja.
📎 Šta je potrebno poslati za ROC analizu?
Potrebno je dostaviti bazu podataka, temu rada, ciljeve istraživanja, istraživačka pitanja ili hipoteze, opis uzorka, metodologiju, definiciju binarnog ishoda i varijablu koja predstavlja test, biomarker, skor ili drugi analizirani pokazatelj . Potrebno je poslati i smjernice mentora, postojeće analize i unaprijed definisane pragove ako postoje.

Za procjenu ROC analize pošaljite kompletan opis zahtjeva i sav raspoloživi materijal odjednom . Na nepotpune upite koji ne sadrže dovoljno informacija za procjenu statističke analize ne odgovaramo.

ISTRAŽITE STATISTIČKE USLUGE

Niste sigurni koja statistička analiza odgovara vašem istraživanju?

Izbor odgovarajuće statističke analize zavisi od istraživačkog problema, vrste i strukture podataka, postavljenih hipoteza, veličine uzorka i ciljeva istraživanja. Zato metoda koja odgovara jednom istraživanju ne mora biti odgovarajuća za drugo.

Pogledajte kompletan pregled statističkih usluga Studentskog Biroa i istražite dostupne metode statističke analize, obradu i interpretaciju podataka, izradu tabela i grafikona, kao i podršku za rad u različitim statističkim i istraživačkim programima.

Možda se upravo među dostupnim uslugama nalazi analiza ili oblik statističke podrške koji odgovara vašem istraživanju.