För att förstå politik hjälper det att tänka som en forskare.
Kampanjtäckning av det kommande presidentvalet finns överallt, med olika omröstningar som visar denna eller den andra kandidaten på toppen. Det finns nationella godkännandevärderingar, lokala godkännandevärderingar, enkäter om primärkandidater, omröstningar om frågor, omröstningar om valbarhet Alla dessa nummer lägger till en kakofoni av information som kan vara svårt att göra huvuden eller svansar av. På det sättet, säger forskare, är de mycket som de uppgifter en forskare kan samla in: De enskilda undersökningarna är oftast inte för användbara på egen hand utan sammanhang. Men sammanförda och närmade eftertänksamma kan enkäterna lägga till den typ av information som en forskare skulle finna användbar.
"Det finns massor av metodiskt sunda politiska undersökningar som liknar metoder som används i vetenskapliga sammanhang, men det finns också några ganska dåligt utformade - och / eller målmedvetna partiska - politiska undersökningar där ute," säger Sara Burke, en forskningspsykolog och expert inom intergrupp förspänningar vid Syracuse University. "De bästa av de bästa i politiska omröstningar gör ett bra jobb med tillgängliga verktyg och upprätthåller - och försöker kommunicera - en klar förståelse för de begränsningar som fortfarande finns i deras metoder."
Med andra ord, om en undersökning är värdefull eller intressant beror mycket på hur den genomfördes och hur den presenteras.
Ofta presenteras dessa enkäter som "Här är några procentsatser", enligt Jillian Scudder, en astrofysiker som studerar galaxer vid Oberlin College i Ohio. "Så du kanske gör en politisk opinionsundersökning, du kan säga: 'Vi gjorde en enkät i detta tillstånd, och vi fick dessa siffror,' och du kanske sätter det i nyheterna. När jag gör statistik och jag kommer med en procent, den procenten kommer med många andra siffror, "sa Scudder till Live Science.
Scudders arbete innebär statistiska test som ser mycket ut som polling, sade hon. Hon kanske samlar in miljontals datapunkter om galaxernas beteende för att försöka ta reda på hur de uppför sig. Men det skulle vara slöseri med tid att gå igenom var och en individuellt. Så hon tar mindre prover av sina data och studerar dem med hjälp av statistiska metoder som liknar de som pollsters använder för att dra slutsatser om hela galaxpopulationen.
Men för att den forskningen ska fungera, och för att den ska ha någon betydelse för andra forskare, måste siffrorna komma med data som ger dem sammanhang, sade hon.
"Var detta ett prov på 100? Var detta ett prov på 1 000? Var detta ett prov på 1 miljon? Hur mycket förändrar provtagningsstorleken resultatet? Om jag går från 1 000 till 10 000 ändras procenten eller är de ganska robust? Saker som det, sa Scudder.
Undersökningar är på liknande sätt mycket mer användbara när du vet hur många som togs ur stickprovet, hur konsekvent resultaten är med andra undersökningar och hur exakt undersökningarna gjordes, säger Chris Schatschneider, utbildningspsykolog och expert på statistik och forskningsdesign i Florida State University.
I Schatschneiders egen forskning, sade han, använder han statistik för att separera "signal" från "brus" - för att avgöra om resultatet av ett experiment sannolikt säger något meningsfullt om hur världen fungerar eller kan vara resultatet av slumpmässiga chanser. Han funderar också noggrant på exakt vilka frågor en viss uppsättning data kan besvara och vilka frågor den inte kan.
Dessa statistiska metoder skiljer sig från de som pollsters använder, sade han. Men det är viktigt att ställa liknande frågor när man hör nyhetsuppgifter i nyheterna: Hur stor var provstorleken? Vem exakt samlades in? Vilka frågor ställde pollisten exakt? Allt detta sammanhang kan berätta om en enkät är meningsfull på det sätt som några flytande siffror bredvid, säger, en kandidats namn inte kan.
Det är också viktigt att förstå de metoder en pollster använde, sade han.
Till exempel innebär många enkäter "stratifierat provtagning". Det betyder att om en viss grupp - till exempel högskolestudenter - är underrepresenterad i ett urval jämfört med den allmänna befolkningen, kommer pollsters att justera antalet så att de studenter som undersökts blir viktigare. Detta kan vara en legitim teknik i princip, sa Schatschneider. Men det kan också skeva resultat när en liten grupp undersökta personer hamnar i tusentals. Han gav ett exempel: The New York Times rapporterade 2016 att en enda 19-årig svart man som stöttade Donald Trump under det årets val var vackert skarp resultat från undersökningen på grund av denna typ av datamassering, vilket ledde till nyhetsberättelser som tyder på att Trump var mycket mer populär bland svarta väljare än fallet.
Verkligheten, sa Schatschneider, är att såvida det inte är ditt heltidsjobb har du förmodligen inte tid att utvärdera enkäter individuellt på detta sätt för att avgöra vilka som är vetenskapliga och vilka som är mindre. De flesta människor är bättre på att inte ägna för mycket uppmärksamhet åt nyheter om enskilda opinionsundersökningar, vilket kan vara vilseledande, och borde istället titta på genomsnitt av de senaste opinionsundersökningarna som de som RealClearPolitics publicerar, sade han.
Forskare gör något liknande med forskningsdata, när de i genomsnitt beräknar data från flera artiklar i större artiklar som kallas "metaanalyser", sa Schatschneider. Om någonting, sade han, är ett genomsnitt av enkäterna mer tillförlitliga, eftersom opinionsundersökningar tenderar att släppas oavsett om de är intressanta eller inte. Men vetenskapliga artiklar tenderar att vara partiska mot mer intressanta resultat eftersom de fortfarande är lättare att publiceras, enligt Schatschneider.
Valprognoser baserade på enorma grupper av omröstningar kan också vara intressanta och användbara, sa Scudder, men till skillnad från vetenskaplig forskning där metoder och rått antal publiceras, visar pollsters inte sitt arbete - håller allt i en egen svart låda.
Generellt, sa Scudder, skulle hon anse en grupp av enkäter tillförlitliga och intressanta om de alla pekar i samma riktning och mindre meningsfulla om de är överallt - vilket tyder på problem i datainsamlingen.
Bara för att resultaten hittar en trend gör dem inte korrekta. Med alla tillgängliga datasätt, sa Scudder, måste du också veta hur du ska tolka resultaten.
"Du måste vara försiktig så att det statistiska testet du använder besvarar den fråga som du vill svara," sa hon.
I vetenskapen kan det innebära att räkna ut huruvida ett datasystem helt utesluter en idé - säg att alla stjärnor är gjorda av ost - eller bara inte bevisar det - säger, alla stjärnor kan fortfarande vara gjorda av ost, men vi har inte ” Jag har sett osten ännu.
När det gäller politiska omröstningar är frågorna olika. Men att förstå vad de menar är lika viktigt. Ett godkännandevärde är inte ett mått på hur människor planerar att rösta. Att fråga människor som de gillar under en primär berättar inte nödvändigtvis hur de kommer att känna sig under ett allmänna val. Fråga vem de planerar att rösta på i februari förutspår inte hur de kommer att rösta i november, sa Schatschneider.
På det sättet, sa Schatschneider, är polling mycket som att ta en patients temperatur. Det är ett helt vetenskapligt företag, sa han. Men det är viktigt att människor som följer enkäter är tydliga på vad de menar.
