Процена репрезентативности испитивања јавног мњења

Преглед

Деценијама су анкетна истраживања пружала поуздане податке о политичким ставовима и понашању приликом гласања, економији, здравству, образовању, демографији и многим другим темама. Али политичка и медијска истраживања суочена су са значајним изазовима као последицом друштвених и технолошких промена.

Све је теже контактирати потенцијалне испитанике и наговорити их да учествују. Проценат домаћинстава у узорку која су успешно интервјуисана - стопа одговора - драматично је опала. У компанији Пев Ресеарцх, стопа одзива на типичну телефонску анкету била је 36% у 1997. години, а данас је само 9%.

Општи пад стопе одговора евидентан је у скоро свим врстама анкета, у Сједињеним Државама и иностранству. Истовремено, потребни су већи напори и трошкови да би се постигла чак и данашња смањена стопа одговора. Ови изазови навели су многе на питање да ли истраживања још увек пружају тачне и непристрасне информације. Иако су се стопе одговора смањиле у фиксним анкетама, укључивање мобилних телефона - што је било неопходно због брзог пораста домаћинстава са мобилним телефонима, али без фиксних - додатно је допринело укупном паду стопа одговора на телефонске анкете.

Нова студија Истраживачког центра за људе и штампу Пев открива да, упркос опадању стопе одговора, телефонске анкете које укључују фиксне и мобилне телефоне и које су пондерисане да одговарају демографском саставу становништва и даље пружају тачне податке о већини политичких, социјалне и економске мере. Ово се подудара са доследним бележењем тачности постигнутим на главним анкетама када је у питању процена изборних резултата, између осталог.1

То не значи да опадајуће стопе одговора немају последице. Једно значајно подручје потенцијалне пристрасности због нереаговања идентификовано у студији је да су учесници анкете склонији знатно већој грађанској активности од оних који не учествују, што потврђује оно што су претходна истраживања показала.2Људи који волонтирају чешће ће се сложити да учествују у анкетама од оних који не раде ове ствари. Ово има озбиљне импликације на способност анкете да тачно процени понашања повезана са волонтеризмом и грађанским активностима. На пример, телефонске анкете могу преценити таква понашања као што су посећивање цркве, контактирање изабраних званичника или присуствовање догађајима у кампањи.

Међутим, студија открива да тенденција ка волонтирању није у великој мери повезана са политичким преференцијама, укључујући пристрасност, идеологију и ставове о разним питањима. Републиканци и конзервативци имају нешто већу вероватноћу од демократа и либерала да кажу да се пријављују као добровољци, али та разлика није довољно велика да би у великој мери били превише заступљени у телефонским анкетама.

Студија се заснива на две нове националне телефонске анкете које је извршио Пев Ресеарцх Центер фор тхе Пеопле & Пресс. Једно истраживање је спроведено 4-8. Јануара 2012. међу 1.507одрасли који користе стандардну методологију компаније Пев Ресеарцх и постигли су укупну стопу одговора од 9%. Друго истраживање, спроведено од 5. јануара до 15. марта међу 2226 одраслих, користило је много дужи период на терену, као и друге напоре намењене повећању учешћа; постигла је стопу одговора од 22%.

Анализа се ослања на три врсте поређења. Прво, анкетна питања се упоређују са сличним или идентичним референтним питањима која се постављају у великим анкетама савезне владе која постижу стопе одговора од 75% или више и на тај начин имају минималну пристрасност при неодговору. Друго, врши се поређење резултата идентичних питања постављених у стандардним анкетама и истраживањима са великим напорима. Треће, испитаници у анкети и нерепанденти се упоређују на широком спектру политичких, социјалних, економских и животних мера користећи информације из две националне базе података које укључују готово сва америчка домаћинства.

Поређење са владиним мерилима

Поређења низа анкетних питања са сличним питањима која је савезна влада поставила на својим великим националним демографским, здравственим и економским студијама показују да је стандардно истраживање компаније Пев Ресеарцх генерално репрезентативно за популацију у већини предмета, мада постоје изузеци. У погледу основних карактеристика домаћинстава и демографских променљивих, разлике између процена стандардне анкете и владиних показатеља прилично су скромне.

Држављанство, власништво над кућом, дужина боравка у пребивалишту, брачни статус и присуство деце у дому спадају у границу грешке стандардне анкете или близу ње. Тако и мера примања накнаде за незапосленост. Чини се да анкета прецењује проценат људи који примају владину помоћ у храни (17% према 10%).

Веће разлике се појављују у мерама политичког и друштвеног ангажмана. Иако је ниво регистрације бирача у анкети исти као и у Тренутној анкети о становништву (75% међу грађанима у обе анкете), тежи партиципативни чин контактирања јавног функционера ради изражавања ставова знатно је прецијењен у анкети (31 % наспрам 10% у Тренутном истраживању становништва).

Слично томе, истраживање открива да 55% каже да је у прошлој години радило неку врсту волонтерског посла за неку организацију или преко неке организације, у поређењу са 27% који су то пријавили у Тренутном истраживању становништва. Чини се да иста мотивација која људе наводи на волонтерски рад може их навести и на већу спремност да пристану на анкетирање.

Поређење стандардних и високонапонских анкета

Друга врста поређења коришћена у студији за процену потенцијала за пристрасност без одговора је између процена из стандардне анкете и анкете о напорима око идентичних питања обухваћених у обе анкете. Ова врста поређења коришћена је у две претходне студије Пев Ресеарцх Центер-а о неодговорности, спроведене 1997. и 2003.3Истраживање великог напора користило је низ техника за постизање веће стопе одговора (22% наспрам 9% за стандардно истраживање), укључујући продужени период на терену, новчане подстицаје за испитанике и писма домаћинствима која су у почетку одбила да буду интервјуисана, као и распоређивање анкетара са доказаним записом убеђивања невољних испитаника да учествују.

У складу са две претходне студије, велика већина резултата није се разликовала између анкете спроведене стандардном методологијом и анкете са већом стопом одговора; само је неколико питања дало значајне разлике. Свеукупно, 28 од 40 поређења дало је разлике од два процентна поена или мање, док су разлике биле три тачке на седам ставки и четири тачке разлике на пет ставки. Генерално, чини се да додатни напори и трошкови у студији високог напора пружају мало користи у погледу квалитета процена.

Поређења која користе базе података о домаћинствима

Трећи начин процене могућности пристрасности због неодазивања је упоређивањем испитаника и неиспитаника помоћу две велике националне базе података које су обезбедили комерцијални добављачи и које укључују информације о готово сваком америчком домаћинству, преузете из јавних и приватних извора.4Покушан је да се сви испитаници и неиспитаници подударају са записима у базама података бирача и потрошача како би могли да се упореде по карактеристикама доступним у базама података. Веома мали број телефонских бројева у оквиру мобилног телефона могао би се подударати у било којој од база података, посебно за оне који нису испитаници, па је стога анализа ограничена само на фиксни оквир.

Прву базу података креирала је организација која пружа податке о бирачима и сродне услуге политичким кампањама, интересним групама, непрофитним организацијама и академицима. То је континуирано ажурирани досије са више од 265 милиона пунолетних особа, укључујући бираче и оне који не гласају. Анализа указује да анкетирана домаћинства не представљају значајно прекомерно представљање регистрованих бирача, баш као што показује поређење процене регистрације бирача у анкети са проценом Тренутне анкете о становништву. Међутим, у бази података наведено је знатно више домаћинстава која се нису одазвала, а не оних који су одговорили (54% наспрам 44%). Овај образац, који се деценијама примећује на изборним анкетама, навео је анкетере да усвоје методе да исправи могућу превелику заступљеност бирача у њиховим узорцима.

База података такође показује да регистровани републиканци и регистровани демократи имају једнаке склоности да одговоре на анкете. Биланс регистрације партија је готово идентичан у анкетираним домаћинствима (17% републиканаца, 23% демократа) и у домаћинствима која не одговарају (17% републиканаца, 22% демократа).

Друга база података која се користи за поређење укључује опсежне информације о демографским и економским карактеристикама становника домаћинстава, укључујући приход домаћинства, финансијски статус и вредност куће, као и интересе за животни стил. Ове информације о потрошачима углавном се користе у маркетингу и пословном планирању за анализу карактеристика на нивоу домаћинства или подручја.

Анкете углавном имају потешкоћа у хватању осетљивих економских променљивих као што су укупна нето вредност, финансијско стање и кућне вредности. Међутим, поређење процена ових економских карактеристика у бази података указује на то да се они прилично добро подударају са одговорима испитаника у анкети на питања о приходима њихове породице и задовољству њиховом личном финансијском ситуацијом. Сходно томе, они могу пружити ваљану основу за процену да ли је, на пример, мање вероватно да ће богата домаћинства одговарати на анкете.

Анализа указује да најбогатија домаћинства и најмање имућна имају сличну склоност да одговоре. На пример, домаћинства чија се нето вредност процењује на 500.000 УСД или више чине приближно једнак удео домаћинстава која су се одазвала и која нису одговорила (23% наспрам 22%). Слично томе, приближно су једнако заступљени они за које се процењује да имају нето вредност испод 25.000 америчких долара (19% у домаћинствима која су одговорила наспрам 21% у домаћинствима која нису одговорила). Сличан образац се примећује и са проценом укупног финансијског стања.

База података укључује процене партијске припадности прве особе која је наведена у домаћинству. Поткрепљујући образац виђен у бази података бирача о регистрацији партија, релативни удео домаћинстава идентификованих као републиканска и демократска једнак је међу онима који су одговорили (31% републиканцима, 44% демократским) и онима који нису одговорили (30%, 44% ).

Неке мале, али значајне разлике између домаћинстава која се одазову и пуног узорка се појављују у колекцији променљивих начина живота и интереса. У складу са референтном анализом која је открила да ће у анкетама вероватно бити превише заступљени добровољци, домаћинства која су означена као заинтересована за послове заједнице и добротворне организације чине већи удео домаћинстава која су се одазвала (43%) од свих домаћинстава која нису одговорила (33%). Слично томе, они који су означени као заинтересовани за религију или инспиративне теме чинили су 29% домаћинстава која су се одазвала, у поређењу са 22% међу домаћинствима која нису одговорила.