Pilot istraživanje i testiranje istraživačkog instrumenta
PRIPREMA PRIJE GLAVNOG ISTRAŽIVANJA

Pilot istraživanje – provjerite instrument prije nego što bude kasno

Pilot istraživanje je ona faza koju je lako preskočiti kada želite što prije početi prikupljati podatke. Upitnik je napravljen, pitanja za intervju su spremna i sve na prvi pogled izgleda dobro. Ali šta ako ispitanici ne razumiju jedno pitanje? Šta ako anketa traje dvostruko duže nego što ste planirali? Šta ako ponuđeni odgovori ne obuhvataju ono što ljudi stvarno žele odgovoriti?

Upravo zato se provodi pilot studija ili probno istraživanje. Cilj nije unaprijed dokazati hipoteze, već provjeriti da li istraživački instrument, procedura i način prikupljanja podataka funkcionišu dovoljno dobro prije početka glavnog istraživanja.

Šta je pilot istraživanje?

Pilot istraživanje predstavlja manju probnu verziju planiranog istraživanja. Provodi se prije glavnog prikupljanja podataka kako bi se provjerilo da li su pitanja razumljiva, da li instrument funkcioniše kako je zamišljeno i postoje li problemi koje treba riješiti prije uključivanja punog uzorka.

Pilot može obuhvatiti anketu, upitnik, intervju, proceduru mjerenja, način evidentiranja podataka ili drugi dio istraživačkog procesa koji treba praktično provjeriti.

Zašto je pilot istraživanje važno?

Problem sa loše postavljenim pitanjem mnogo je lakše ispraviti prije nego što stotine ispitanika već popune upitnik. Ako se greška otkrije tek nakon glavnog prikupljanja podataka, često je nemoguće naknadno dobiti informaciju koja nije pravilno izmjerena.

Pilot testiranje zato može pomoći da se unaprijed otkriju metodološki, sadržajni i tehnički problemi i smanji rizik da glavno istraživanje proizvede podatke koji se teško mogu koristiti.

Šta se provjerava tokom pilot istraživanja?

Tokom pilot istraživanja može se provjeravati razumljivost pitanja, jasnoća ponuđenih odgovora, redoslijed stavki, trajanje popunjavanja, funkcionisanje skala i tehnička izvedba instrumenta.

Takođe se može pratiti da li ispitanici preskaču određena pitanja, biraju gotovo uvijek isti odgovor ili traže dodatna objašnjenja. Takvi obrasci mogu pokazati da pojedine stavke zahtijevaju doradu.

Pilot testiranje ankete i upitnika

Kod testiranja upitnika posebno se provjerava da li ispitanici razumiju formulaciju pitanja i značenje ponuđenih odgovora. Ako više osoba različito tumači isto pitanje, postoji mogućnost da ono nije dovoljno jasno definisano.

Pilot može pokazati i da je upitnik predugačak, da se neka pitanja nepotrebno ponavljaju ili da određene skale ne nude dovoljno odgovarajućih opcija za ciljnu grupu.

Pilot testiranje intervjua

Pilotiranje može biti korisno i kod istraživačkog intervjua. Probni razgovor može pokazati da li su pitanja dovoljno otvorena, da li učesnici razumiju šta se od njih traži i da li redoslijed tema omogućava prirodan tok razgovora.

Tako se prije glavnih intervjua mogu doraditi pitanja, pripremiti bolja potpitanja i procijeniti približno trajanje razgovora.

Koliko ispitanika treba za pilot istraživanje?

Ne postoji jedan broj koji odgovara svakom pilot istraživanju. Potreban obim zavisi od cilja pilota, vrste instrumenta, ciljne populacije i toga šta se tačno želi provjeriti.

Ako je cilj samo utvrditi da li su pitanja razumljiva, može biti dovoljan manji probni uzorak. Ako se pilot koristi i za početnu statističku procjenu instrumenta, zahtjevi mogu biti drugačiji. Zato veličina pilota treba imati jasnu svrhu, a ne biti određena proizvoljno.

Da li pilot uzorak mora ličiti na glavni uzorak?

Kada god je moguće, osobe uključene u pilot treba da imaju karakteristike slične ciljnoj populaciji glavnog istraživanja. Pitanje koje je potpuno jasno jednoj grupi ljudi može biti zbunjujuće grupi kojoj je instrument stvarno namijenjen.

Zato nije dovoljno pokazati upitnik samo kolegama ili prijateljima ako oni značajno razlikuju od ispitanika koji će učestvovati u glavnom istraživanju.

Šta uraditi ako pilot pokaže problem?

To je upravo razlog zbog kojeg se pilot i radi. Ako učesnici ne razumiju pitanje, treba ga preformulisati. Ako se određene opcije odgovora ne koriste ili nedostaju važne mogućnosti, struktura odgovora može se doraditi. Ako je upitnik predugačak, potrebno je razmotriti koje stavke imaju stvarnu istraživačku svrhu.

Nakon izmjena, kod značajnijih promjena može biti opravdano ponovo provjeriti instrument prije početka glavnog istraživanja.

Pilot istraživanje i validacija upitnika – da li je to isto?

Nije. Pilot istraživanje prvenstveno provjerava kako instrument i procedura funkcionišu u praksi, dok validacija upitnika može uključivati širu metodološku i statističku procjenu validnosti i pouzdanosti instrumenta.

Pilot može biti dio procesa razvoja i provjere upitnika, ali sam po sebi ne predstavlja kompletnu validaciju mjernog instrumenta.

Da li se rezultati pilot istraživanja analiziraju?

Mogu se analizirati u skladu sa svrhom pilota. Nekada je dovoljno kvalitativno pregledati komentare učesnika i probleme pri popunjavanju, dok se kod drugih pilot studija mogu pregledati frekvencije odgovora, nedostajuće vrijednosti, ponašanje skala ili određeni pokazatelji pouzdanosti.

Cilj takve analize je prvenstveno poboljšati instrument i istraživačku proceduru prije glavnog istraživanja.

Pilot istraživanje za master rad

Pilot istraživanje za master rad može biti posebno korisno kada student sam razvija upitnik, značajno prilagođava postojeći instrument ili prvi put provodi složeniji postupak prikupljanja podataka.

Pilot omogućava da se prije glavnog istraživanja provjeri razumljivost pitanja, trajanje ankete i praktična izvedivost metodologije koju je student planirao.

Pilot istraživanje za doktorsku disertaciju

Kod doktorske disertacije pilot faza može imati još važniju ulogu, posebno kada se razvija novi instrument, složen istraživački dizajn ili procedura koja prethodno nije dovoljno provjerena na ciljnoj populaciji.

Rezultati pilota mogu pomoći u doradi metodologije, instrumenta, procedura prikupljanja podataka i plana kasnije analize prije početka glavnog doktorskog istraživanja.

Već ste počeli glavno istraživanje bez pilota?

Dešava se da istraživanje već počne, a tek onda postane jasno da je pilot testiranje trebalo uraditi ranije. U tom slučaju prvo treba pregledati dosad prikupljene odgovore, eventualne nedostajuće podatke, komentare ispitanika i ponašanje pojedinih pitanja.

Ako se utvrdi ozbiljan problem, potrebno je procijeniti da li je opravdano mijenjati instrument i kako bi takva promjena uticala na podatke koji su već prikupljeni.

Šta treba zapisati nakon pilot istraživanja?

Nakon pilota korisno je dokumentovati šta je testirano, ko je učestvovao, koje poteškoće su uočene i koje izmjene su napravljene prije glavnog istraživanja.

Takav zapis pomaže da se kasnije jasno objasni postupak pilot istraživanja u metodološkom dijelu rada i pokaže zbog čega je konačna verzija instrumenta oblikovana upravo na taj način.

Podrška za pilot istraživanje dostupna je studentima, doktorandima i istraživačima iz Bosne i Hercegovine, Srbije, Hrvatske, Crne Gore i Slovenije. Online saradnja dostupna je korisnicima iz Sarajeva, Banje Luke, Travnika, Bijeljine, Mostara, Tuzle, Zenice, Bihaća, Brčkog, Beograda, Novog Sada, Niša, Kragujevca, Zagreba, Splita, Rijeke, Osijeka, Ljubljane, Maribora, Podgorice, Nikšića i drugih gradova.

Podrška je dostupna i studentima i istraživačima iz dijaspore, uključujući korisnike iz Beča, Graza, Linza, Salzburga, Minhena, Berlina, Frankfurta, Hamburga, Stuttgarta, Ciriha, Bazela, Berna, Ženeve, Stockholma, Malmöa, Göteborga, Osla, Kopenhagena, Amsterdama, Brisela, Pariza, Londona i drugih evropskih gradova, kao i korisnicima iz SAD-a, Kanade i Australije.

PILOT U PRAKSI

Šta pilot istraživanje može otkriti prije glavnog istraživanja?

Na papiru upitnik ili intervju mogu izgledati potpuno jasno. Pravi problemi često postanu vidljivi tek kada instrument prvi put koristimo sa osobama koje pripadaju ciljnoj grupi. Pilot istraživanje upravo služi da te probleme pokušamo otkriti na vrijeme.

01

Nejasna pitanja

Ispitanik može potpuno drugačije razumjeti pitanje koje je istraživaču djelovalo sasvim jasno.

Signal za problem: više učesnika traži objašnjenje istog pitanja.
02
⏱️

Predugačak upitnik

Pilot pokazuje koliko je vremena stvarno potrebno za popunjavanje, a ne samo koliko smo procijenili dok smo pravili upitnik.

Signal za problem: umor, odustajanje ili brzinsko odgovaranje pred kraj.
03
🔀

Loš redoslijed pitanja

Pitanja pojedinačno mogu biti dobra, ali njihov raspored može djelovati nelogično ili naglo prebacivati ispitanika između tema.

Signal za problem: tok upitnika djeluje nepovezano ili zbunjujuće.
04
🎚️

Problem sa ponuđenim odgovorima

Ispitanici mogu razumjeti pitanje, ali među ponuđenim opcijama ne pronaći odgovor koji odgovara njihovoj situaciji.

Signal za problem: učesnici često traže opciju koja nije ponuđena.
05
💻

Tehničke poteškoće

Kod online ankete mogu se pojaviti problemi sa prikazom, obaveznim pitanjima, grananjem ankete ili korištenjem na telefonu.

Signal za problem: instrument ne funkcioniše jednako dobro na svim uređajima.
06
🚩

Problematične stavke

Određeno pitanje može biti nepotrebno, osjetljivo, dvosmisleno ili jednostavno ne davati informacije koje su istraživanju potrebne.

Signal za problem: pitanje se preskače ili daje neočekivane odgovore.
🛠️
KONKRETAN PRIMJER

Kako pilot može pomoći da popravimo pitanje?

✕ PRIJE PILOT TESTIRANJA

„Da li ste zadovoljni kvalitetom nastave i podrškom profesora?“

Problem je što pitanje istovremeno pita o dvije različite stvari. Student može biti zadovoljan nastavom, a nezadovoljan podrškom profesora. Koji odgovor tada treba izabrati?

✓ NAKON DORADE

„Koliko ste zadovoljni kvalitetom nastave?“

„Koliko ste zadovoljni podrškom profesora?“

Jedno složeno pitanje razdvojeno je na dvije jasne stavke, pa svaki odgovor sada ima preciznije značenje.

👀

Tokom pilota nemojte gledati samo odgovore

Obratite pažnju i na ponašanje učesnika. Gdje zastanu? Koje pitanje čitaju nekoliko puta? Šta traže da im objasnite? Koje pitanje preskaču? Koliko traje popunjavanje? Upravo takve sitnice mogu otkriti problem koji se iz same tabele sa odgovorima možda neće odmah vidjeti.

Prije glavnog istraživanja provjerite:

Da li ispitanici razumiju sva pitanja?

Da li ponuđeni odgovori imaju smisla?

Da li je redoslijed pitanja logičan?

Koliko stvarno traje popunjavanje?

Postoje li pitanja koja se često preskaču?

Radi li online anketa pravilno na telefonu?

ČESTA PITANJA

Česta pitanja o pilot istraživanju

Pilot istraživanje često otvara praktična pitanja: koliko ispitanika je potrebno, šta tačno treba testirati, da li pilot zamjenjuje validaciju upitnika i šta uraditi ako probna verzija pokaže problem.

🧪 Šta je pilot istraživanje?
Pilot istraživanje je probna verzija planiranog istraživanja koja se provodi prije glavnog prikupljanja podataka. Njegova svrha je da pokaže da li instrument, pitanja, procedura i način prikupljanja podataka funkcionišu kako je planirano.
🎯 Zašto je pilot istraživanje važno?
Pilot može otkriti nejasna pitanja, loše ponuđene odgovore, predugo trajanje ankete, tehničke probleme ili poteškoće u istraživačkoj proceduri. Takve nedostatke je mnogo lakše ispraviti prije nego što počne glavno istraživanje.
🔢 Koliko ispitanika treba za pilot istraživanje?
Ne postoji jedan broj koji odgovara svakom pilot istraživanju. Veličina zavisi od svrhe pilota, vrste instrumenta, ciljne populacije i toga da li se provjerava samo razumljivost pitanja ili i određene karakteristike prikupljenih podataka.
👥 Da li pilot uzorak treba biti sličan glavnom uzorku?
Kada je moguće, pilot učesnici treba da imaju karakteristike slične ciljnoj populaciji glavnog istraživanja. Tako se realnije može procijeniti da li su pitanja razumljiva i da li instrument odgovara osobama kojima je stvarno namijenjen.
📝 Šta se testira kod pilotiranja upitnika?
Može se provjeravati razumljivost pitanja, redoslijed stavki, ponuđene opcije odgovora, trajanje popunjavanja, pitanja koja se često preskaču i tehnička funkcionalnost online ankete.
💬 Može li se pilotirati i istraživački intervju?
Da. Probni intervju može pokazati da li su pitanja dovoljno jasna i otvorena, da li razgovor ima prirodan tok, koliko traje i gdje su potrebna dodatna potpitanja ili drugačiji redoslijed tema.
⏱️ Da li se tokom pilota mjeri vrijeme popunjavanja ankete?
Da, to može biti veoma korisno. Stvarno vrijeme popunjavanja pomaže da se procijeni da li je upitnik predugačak i postoji li rizik od umora, brzinskog odgovaranja ili odustajanja ispitanika.
🔧 Šta ako pilot pokaže da neka pitanja nisu dobra?
To je upravo jedna od svrha pilotiranja. Problematična pitanja mogu se preformulisati, razdvojiti, ukloniti ili dopuniti odgovarajućim opcijama. Kod većih izmjena korisno je ponovo provjeriti dorađenu verziju prije glavnog istraživanja.
🧩 Da li je pilot istraživanje isto što i validacija upitnika?
Nije. Pilot istraživanje prvenstveno provjerava praktično funkcionisanje instrumenta i procedure, dok validacija upitnika može uključivati dodatne metodološke i statističke provjere validnosti, pouzdanosti i strukture instrumenta.
📊 Da li se podaci iz pilot istraživanja analiziraju?
Mogu se analizirati u skladu sa svrhom pilota. Nekada je dovoljan pregled odgovora i komentara učesnika, dok se u drugim slučajevima mogu pregledati frekvencije, nedostajuće vrijednosti, ponašanje pojedinih stavki ili određeni pokazatelji pouzdanosti.
♻️ Da li se ispitanici iz pilota mogu uključiti u glavno istraživanje?
To zavisi od istraživačkog dizajna i od toga da li je nakon pilota instrument mijenjan. Ako su napravljene značajne promjene, podatke prikupljene različitim verzijama instrumenta treba posebno pažljivo razmotriti prije spajanja.
🎓 Da li je pilot istraživanje potrebno za master rad?
Ne mora biti obavezno u svakom master radu, ali može biti veoma korisno kada se razvija novi upitnik, prilagođava postojeći instrument ili prvi put provodi složenija procedura prikupljanja podataka.
🔬 Kada se pilot istraživanje koristi u doktorskoj disertaciji?
Kod doktorskih istraživanja pilot može biti posebno važan kada se razvija novi instrument, uvodi složen istraživački postupak ili testira metodologija koja zahtijeva praktičnu provjeru prije glavne faze istraživanja.
⚠️ Šta ako sam već počeo glavno istraživanje bez pilota?
Prvo treba pregledati dosad prikupljene odgovore i utvrditi postoje li ozbiljni problemi sa pitanjima, nedostajućim podacima ili načinom provođenja istraživanja. Ako su potrebne izmjene instrumenta, treba procijeniti kako će one uticati na već prikupljene podatke.
📎 Šta treba poslati za procjenu pilot istraživanja?
Pošaljite temu rada, metodologiju, ciljeve, istraživačka pitanja ili hipoteze, upitnik ili vodič za intervju i opis planiranog uzorka. Ako je pilot već proveden, korisno je poslati i prikupljene podatke, komentare učesnika i eventualne napomene mentora.
💡

Niste sigurni da li vam je pilot istraživanje uopšte potrebno? Pošaljite metodologiju i instrument koji planirate koristiti. Prvo treba utvrditi šta je u konkretnom istraživanju potrebno provjeriti prije glavnog prikupljanja podataka.