Покривеност грешке у Интернет анкетама

лаптоп са потврдним оквиром на екрану на белој позадини

Драматичан пораст употребе Интернета, али један од десет још увек није на мрежиПривучени нижим трошковима прикупљања података и значајним предностима у начину дизајнирања и администрирања упитника, анкетно истраживање се брзо сели на мрежу. Усвајање Мреже за прикупљање података догађа се у свим секторима индустрије, од америчког Пописног бироа, који сада омогућава испитаницима да спроведу анкету америчке заједнице на Интернету, до политичких анкета, где су трошкови и потешкоће географског циљања телефонских позива подстичући више организација да се ослањају на анкете на мрежи, заједници маркетиншких истраживања која је практично све анкете потрошача пребацила на мрежу. Један од кључних фактора који је омогућио ову промену је чињеница да велика већина Американаца сада користи интернет. Телефонска истраживања Пев Ресеарцх Центер-а документовала су пораст усвајања интернета, који је порастао са 14% одрасле популације у САД-у 1996. године на 89% данас.

Али 89% није 100%, а анкете које укључују само оне који користе Интернет (и који су вољни да их спроводе на мрежи) ризикују да дају пристрасне резултате. Колики је тај ризик? Ова анализа документује како би се широки спектар уобичајених налаза анкете разликовао ако се изузму они који не могу или не желе да учествују у анкетама на мрежи. Ослања се на серију истраживања која је током последњих 15 месеци спровео Истраживачки центар Пев са својим национално репрезентативним америчким панелом за трендове. Већина чланова панела учествује путем Интернета, док се они који не могу или не желе да учествују у анкетама на мрежи обично интервјуишу поштом. Упоређивањем резултата за пуни узорак са резултатима добијеним путем веб узорка, могуће је проценити последице искључивања неинтернетске популације из анкета.

Већина анкетних предмета разликује се мало између целог узорка и веб узоркаОвим поређењем стотина појединачних анкетних питања, са и без офлајн популације, утврђено је да је за већину тема које је проучавао Пев Ресеарцх Центер, величина пристрасности узрокованих изузећем испитаника који нису са Веба прилично мала. Преко 406 одвојених предмета анкете, само девет је дало процене које су се разликовале за 5 или више процентних поена. Више од две трећине од 406 предмета дало је процене са разликом од 0 или 1 бод. То је последица чињенице да је група која не обухвата веб мрежу мали удео у укупној популацији, као и чињенице да је величина разлика између веб и не-веб група тенденција да буде релативно скромна код већине питања .

Али за неколико тема разлике су веће. Предмети који се односе на употребу интернета и технологије показују знатну пристраност у узорцима само за веб. Мање, али ипак значајне, пристрасности појављују се на тако разноликим предметима као што су политичко знање и финансијске околности. И подједнако важно, чак и за питања у којима су укупне разлике скромне, може постојати значајна пристрасност међу одређеним подгрупама у популацији, попут оних старих 65 и више година, где се појединци на мрежи и ван ње веома разликују.

Подаци у овом извештају узимају се од трећег до 11. таласа прикупљања података америчког панела за трендове Пев Ресеарцх Центер-а (АТП). АТП је национално репрезентативни панел одраслих САД-а који живе у домаћинствима заснован на вероватноћи. Испитаници који се самоидентификују као корисници Интернета и који су дали адресу е-поште учествују у панелу путем месечних самоуправних веб анкета, док они који не користе интернет немају адресу е-поште или одбијају да наведу своју адресу е-поште учествују путем пошта. Додатне информације, укључујући датуме поља, величине узорка и маргине грешке, могу се наћи у одељку метода овог извештаја.

Ставке анкете одабране су за укључивање ако су питане за укупан узорак, а не само за панелисте веб-режима. Предмети су изузети ако су имали сложене обрасце прескакања на основу одговора претходних таласа. Неколико предмета је изузето ако су они, или врло слични њима, већ тражени у претходном таласу. Ставке одабране за анализу разлика међу подскупинама у популацији су често коришћене мере у главним доменима истраживања у Истраживачком центру Пев.



Узорак композиције типичног анкетног таласаЗа ову анализу створене су две тежине за сваки талас прикупљања података. Први одмерава укупан узорак, укључујући панелисте Веба и поште, демографским циљевима свих одраслих особа из САД-а које живе у домаћинствима. Други одмерава само део панела у веб режиму са истим укупним циљевима популације. Додатне информације о пондерисању, укључујући изворе циљева, могу се наћи у одељку о методама на крају овог извештаја.

Све разлике од 3 процентна поена или веће су статистички значајне као и већина оних са разликом од 2 поена. Чак су и неке разлике од 1 поена положиле тест значајности. Ови статистички тестови узимају у обзир и ефекат дизајна од пондера и чињеницу да су испитаници на Вебу подузорку укупног броја испитаника. Ово преклапање значи да су врло мале разлике статистички значајне, много мање него да су веб и укупни испитаници два независна узорка. Из тог разлога, главни фокус у овом извештају је на разликама које су довољно велике да могу бити суштински значајне.

Узорци Веба и поште врло различити

Већина испитаника узорака поште су старији од 65 годинаКако се популација која није са интернета смањује, њен демографски профил се стално разликује од остатка популације. Штавише, они појединци који пријављују да су барем повремено користили Интернет, али који кажу да не могу или неће да учествују у анкетама на мрежи, демографски су сличнији онима који нису на мрежи него осталим корисницима Интернета. Такве разлике између људи који су обухваћени веб анкетама и оних који то не могу потенцијално могу представљати ризик за тачност процена анкете засноване само на испитаницима који су способни и желе да учествују у веб анкетама.

Према проценама Истраживачког центра Пев, 89% одраслих особа у САД-у се самоидентификују као корисници интернета. Чињеница да би само мрежна анкета искључила отприлике једну од десет одраслих особа могла би се сматрати неважном, али стварни удео становништва који ће бити искључен из анкете само путем веба је заправовећенего што та процена сугерише. Поред испитаника који нису корисници Интернета, неки испитаници позвани да учествују у веб панелу или немају или неће бити спремни да дају адресу е-поште како би олакшали учешће на мрежи.

Заправо, нешто мање од половине типичног узорка поште Америцан Трендс Панел чине корисници интернета који су из једног или другог разлога одбили да учествују у панелу путем Веба.1И тај удео би вероватно био већи да нисмо престали да позивамо ове испитанике да се придруже панелу кроз запошљавање. (За детаљан опис регрутовања панела погледајте одељак о методама овог извештаја.) Укупно, пондерисани удео панелиста који анкете спроводе поштом је око 18%.

Готово две од десет одраслих особа које би биле искључене из узорка само путем Интернета - било по потреби или по избору - веома се разликују од одраслих који су спремни да учествују у веб панелу. Ове разлике се простиру на готово све главне демографске, економске и политичке карактеристике. Разлике између ова два узорка се блиско прате са уделом сваке подгрупе која су корисници Интернета.

На пример, више од половине узорка поште (56%) су одрасле особе старије од 65 година и старије и само 1% одрасле особе млађе од 30 година. Поређења ради, 24% испитаника на мрежи има 65 година и више и 14% је млађих од 30 година. Ово је одраз чињенице да само 66% одраслих особа старијих од 65 година каже да су корисници интернета, у поређењу са 99% одраслих млађих од 30 година.2

У поређењу са веб узорком, узорак поште такође има много већи удео црнаца (16% наспрам 6%) и мањи удео белаца (70% наспрам 80%). Око 7% одраслих у сваком узорку су хиспаноамериканци.

Делимично због свог старосног профила, испитаници са поштом имају мању вероватноћу да су у браку или да живе са партнером, а већа је вероватноћа да ће живети сами од испитаника на Вебу. Отприлике две трећине (64%) веб узорка ожењено је или има партнерство, у поређењу са 37% узорка поште. А неких 44% испитаника поште живи само, у поређењу са само 17% испитаника Веба.

Отприлике половина испитаника поште (49%) има средњошколску диплому или мање образовање, а само 21% је завршило факултет. Поређења ради, 57% веб узорка је завршило факултет, док само 14% има средњу школу или мање.

Узорак поште више рурални, јужниИспитаници поште су такође много мање имућни од испитаника Веба. Отприлике 42% испитаника поште има породични приход мањи од 20.000 УСД, у поређењу са 10% испитаника на мрежи. И потпуно једна четвртина (25%) веб испитаника има приход од 100.000 УСД годишње или више, у поређењу са само 2% испитаника путем поште.

Постоје мање разлике између испитаника на вебу и поште у погледу политичког идентитета и ангажмана: 42% веб узорка је републиканског или републиканског порекла, у поређењу са 37% узорка поште. Испитаници у пошти чешће од испитаника на Вебу описују своје политичке ставове као конзервативне (42% наспрам 33%), док испитаници на веб узорку чешће описују своје ставове као либералне (29% наспрам 19%). Вероватноћа да ће испитаници на мрежи рећи да су потпуно сигурни да су регистровани за гласање (86% према 81%) него испитаници поште.

Религијски профил испитаника путем поште разликује се од профила испитаника на мрежи. Отприлике две трећине (63%) испитаника поште су протестанти, у поређењу са 45% испитаника на мрежи. А испитаници у пошти имају отприлике упола мању вероватноћу да испитаници са Веба себе описују као атеисте, агностике или особе без религије (12% наспрам 23%). Штавише, испитаници поште чешће него испитаници Веба кажу да посећују верске службе најмање недељно (46% према 34%).

Коначно, у погледу географског положаја, узорак поште има већи удео који живи у руралним областима (25% наспрам 14%) и мањи удео који живи у урбаним областима (30% насупрот 36%) од веб узорка. И док је регионална дисперзија слична на североистоку, средњем западу и западу, Југ је заступљенији међу испитаницима поште, него међу испитаницима Веба (41% према 32%).

Скромне разлике између укупних узорака и узорака само на мрежи

Технологија и Интернет предмети показују значајне разликеУпркос значајним разликама између веба и узорака поште, већина процена анкета произведених путем веб анкета мало ће се разликовати од процена анкета које покривају целокупну јавност. Од 406 одвојених процена преузетих из девет таласа Америчког панела за трендове, само њих девет се разликовало за 5 процентних поена или више. Можда није изненађујуће, свих девет је повезано са употребом интернета или дигиталне технологије. Истраживање само путем веба проценило је да 82% јавности свакодневно користи интернет, док цео узорак (укључујући кориснике који нису Интернет) утврђује да 69% свакодневно иде на мрежу. Слично томе, постоји разлика од 10 поена у проценту људи који су пријавили да су јуче послали е-пошту или текстуалну поруку пријатељу или рођаку (79% међу веб узорком наспрам 69% у целом узорку). Такође постоји разлика у 10 поена у пријављеном власништву над преносним рачунаром или стоним рачунаром (90% веб узорка наспрам 80% укупно).

Дванаест од 406 прегледаних предмета дало је разлику од 4 тачке између Веба и укупних узорака. Четири од 12 односило се на употребу интернета или технологије, док су три била питања из вести и квиза о политичком знању (веб узорак био је упућенији од укупног узорка), а три ставке односиле су се на финансијске или путне ресурсе, укључујући поседовање пасош, кредитну картицу, ИРА, 401К или сличну врсту рачуна за пензионисање (при чему ће сваки од ових узорака веб имати већу вероватноћу од укупног узорка).

Било је 32 предмета са разликом од 3 процентна поена. Они су покривали разне теме, укључујући другу финансијску имовину и инструменте (штедни рачун, текући рачун, пензиони план), политичке и научне ставке, здравствене проблеме и услове онеспособљавања (са већом учесталошћу потоњих у укупном узорку од веб узорка). ). Преосталих 353 предмета донело је разлике од 2 поена (74 предмета), 1 поен (165) или 0 поена (114). Комплетна листа ставки и процена укупних и веб узорака може се наћи у додатку.

Веће разлике за одређене подгрупе

Демографски односи се разликују за веб и пуни узоракПодгрупе становништва са нижим стопама усвајања Интернета рањиве су на веће пристрасности у анкетама само путем Интернета. Ово не само да угрожава тачкасте процене направљене за ове групе, већ утиче и на валидност закључака о вези између одређених демографских или социјалних карактеристика и различитих исхода од интереса.

Међу одраслима старијим од 65 година и више, процена свакодневне употребе Интернета је за 35 поена виша у веб истраживању од целог узорка (74% наспрам 39%). На друга питања у вези са употребом интернета, попут друштвених мрежа, се такође погађају. Али чак и ставке о нетехнолошким темама показују значајне предрасуде међу овом старосном групом. Испитаници у веб анкети старији од 65 година и старији имају 10 поена већу вероватноћу да кажу да се осећају сигурно у шетњи по мраку у својим насељима него они који су интервјуисани у комбинованим узорцима веба и поште. Интересовање за читање Библије је за цео узорак веће за 10 поена него код самог веб узорка. Такве разлике не постоје међу одраслима узраста од 18 до 29 година, што чини да је веза овог питања са годинама изгледа слабија у узорку само за веб него у пуном узорку.

Чини се да образовање такође има много чвршћу везу са поседовањем возачке дозволе у ​​целом узорку него што је то случај у узорку само на мрежи. У оба узорка, 96% дипломаца наводи да има лиценцу, али постоји јаз у 7 тачака између Веба и укупних узорака међу онима који имају средњу школу или мање.

Мале разлике у политичкој идеологији и ангажмануСлично томе, однос између расе и статуса запослења прилично се разликује у узорку који се односи само на мрежу него у пуном узорку. Црнци (65%) имају сличну стопу запослености као белци (61%) у веб узорку, али међу пуним узорком стопа беле запослености је 8 бодова већа него међу црнцима (62% наспрам 54%).

Једно од подручја генерално позитивних вести за веб анкете је да пристрасност покривености интернетом релативно не утиче на процене политичких преференција и ангажмана, чак ни међу подгрупама становништва са релативно нижим нивоом употребе интернета. На основу индекса идеолошке доследности од 10 ставки, готово да није било разлике између Веба и укупних узорака међу старосним групама. Слично томе, образац пријављене регистрације бирача према степену образовања био је врло сличан у мрежним и укупним узорцима.

Закључак

Тешко је претјерано рећи да Интернет трансформише анкетно истраживање. Широко распрострањено усвајање интернета, заједно са брзином, ниском ценом и ефикасношћу прикупљања података на мрежи, наводи већину анкетних организација да барем неке податке прикупе на мрежу или да размисле о томе.

Анкете које се сами воде на Интернету имају бројне предности у погледу квалитета мерења, али као што је примећено у претходној студији Пев Ресеарцх Центер-а о утицају режима анкете, још увек постоје питања која треба решити. Тренутна студија открива да је пристрасност покривености повезана са веб анкетама скромна за већину врста мера, али није у потпуности одсутна. Отприлике један од десет Американаца не користи интернет, а многи други могу имати приступ, али одбијају да полажу анкете на Интернету. Као резултат, мере коришћења технологије ће вероватно бити пристрасне. Чак и нетехнолошке мере могу бити погођене, посебно за одређене подпопулације (као што су Американци старији од 65 година), где се сегмент групе који ужива у Интернету може веома разликовати од оних који то нису. Такви обрасци пристрасности могу утицати не само на процене бодова анкете, већ на корелације и друге интерне везе у подацима. Корисници анкета само путем Интернета морају да воде рачуна о потенцијалним грешкама и пристрасностима повезаним са мрежним анкетама.

Методе

Ова студија се заснива на анализи података Америчког панела за трендове (АТП), који је креирао Пев Ресеарцх Центер, а којим је управљао Абт СРБИ. Тим панела Абт СРБИ су чинили Цхинтан Туракхиа, Цхарлес ДиСогра, Цоуртнеи Кеннеди, Ницк Бертони, Марци Сцхалк, Роберт Магав, Емили Мартинез, Аллисон Ацкерманн и Сандра Хернандез.

АТП је национално репрезентативни панел случајно одабраних одраслих Американаца који живе у домаћинствима. Испитаници који се самоидентификују као корисници интернета и који су дали адресу е-поште учествују у панелу путем месечних самоуправних веб анкета, а они који не користе интернет, немају адресу е-поште или одбијају да наведу своју адресу е-поште учествују. путем поште.

Подаци у овом извештају узимају се од трећег до 11. таласа панела спроведеног 2014. и 2015. Додатне информације, укључујући датуме поља, стопе одговора и величине узорака, могу се наћи у доњој табели.

Сви тренутни чланови Америцан Трендс Панел-а првобитно су регрутовани из Анкете о политичкој поларизацији и типологији из 2014. године, великог (н = 10.013) националног анкетирања са фиксним бројем и мобилним телефоном (РДД), спроведеног од 23. јануара до 16. марта 2014, на енглеском и Шпански. На крају те анкете, испитаници су позвани да се придруже панелу. Позив је упућен свим испитаницима који користе интернет (са било које локације) и случајном подузорку испитаника који не користе интернет. Када је започело прикупљање података за Анкету о политичкој поларизацији и типологији за 2014. годину, не-интернет корисници узимали су узорке по стопи од 25%, али је убрзо након тога донета одлука да се позову сви не-интернет корисници да се придруже од 6. фебруара 2014, путем крај периода поља. Укупно је 83% не-интернет корисника позвано да се придружи панелу. Првобитно су сви корисници Интернета који нису имали адресу е-поште позвани да се придруже панелу (и учествују путем не-веб режима), али су након овог датума узети узорке по стопи од 25%. Коначно, сви корисници интернета који су одбили да наведу адресу е-поште првобитно су позвани да се придруже делу панела који није у режиму Веба, али након овог датума више нису позвани да се придруже панелу.

Од 10.013 интервјуисаних одраслих, 9.809 је позвано да учествује у панелу. Укупно 5.338 пристало је да учествује и пружило је или поштанску адресу или е-адресу на коју могу бити послати пакет добродошлице, новчани подстицај и будући позиви за анкетирање. Панелисти такође добијају мали новчани подстицај након учешћа у сваком таласу анкете.

Подаци АТП-а пондерисани су у процесу у више корака који започиње базном тежином која укључује првобитну вероватноћу одабира анкете испитаника и чињеницом да су неки панелисти подузорковани за позив у панел. Даље, направљено је прилагођавање чињеници да је склоност придруживању панелу и остајању активним панелистом варирала у различитим групама у узорку. Последњи корак у пондерисању користи итеративну технику која одговара полу, старости, образовању, раси, латиноамеричком пореклу и региону параметрима из Анкете америчке заједнице америчког завода за попис становништва из 2013. Пондерирана је густина насељености како би се подударала са десетогодишњим пописом становништва у САД-у 2010. године. Телефонска услуга пондерисана је проценама покривености телефоном за 2015. годину које су пројектоване из Националне анкете о здравственом интервјуу за период јануар-јун 2014. године. Такође се прилагођава партијској припадности користећи просек од три најновије јавне телефонске анкете Пев Ресеарцх Центер-а и употребу интернета, користећи као параметар меру из Анкете о политичкој поларизацији из 2014. Грешке у узорковању и статистички тестови значајности узимају у обзир ефекат пондерисања. Хиспаноамерички узорак у Америцан Трендс Панел је претежно матерњег порекла и говори енглески језик.

За овај извештај створене су две тежине за сваки талас прикупљања података. Први одмерава укупан узорак, укључујући панелисте Веба и поште, демографским циљевима свих одраслих особа из САД-а које живе у домаћинствима. Други одмерава само део панела у веб режиму са истим укупним циљевима популације. Имајте на уму да је талас 5 прикупљања података обухватио начин експеримента са интервјуима, који је насумично додељивао веб панелистима да буду интервјуисани путем интернета или телефона; поштански панелисти су интервјуисани телефоном. За анализу у овом извештају, веб панелисти интервјуисани телефоном упоређују се са панелистима веб и маил поште интервјуисаним телефоном како би испитали разлику у покривености између две групе без увођења ефеката режима.

Као што је раније наведено у извештају, све разлике од 3 процентна поена или веће су статистички значајне, као и већина оних са разликом од 2 поена, а неке са разликом од само 1 поена. Сходно томе, овде је фокус на разликама које су довољно велике да могу бити суштински значајне. Поред грешке у узорковању, треба имати на уму да формулисање питања и практичне потешкоће у спровођењу анкета могу унети грешку или пристрасност у налазе јавног мњења.

Следећа табела приказује периоде поља, непондерисане величине узорка и стопе одзива за сваки талас. Кумулативна стопа одговора узима у обзир стопу одговора на Анкету о политичкој поларизацији из 2014. године (10,6%) и одбацивање чланова комисије који су уклоњени на њихов захтев или због неактивности.

Таласи величине узорака и стопе одговора