Hypotesetesting

En enkel og kort tutorial om hypotesetesting ved bruk av Python

Bilde fra: http://www.advanceinnovationgroup.com/blog/median-basert-hypotese-testing

I denne bloggen vil jeg gi en kort tutorial om hypotesetesting ved bruk av statistiske metoder i Python. Hypotetesting er en del av den vitenskapelige metoden vi alle er kjent med, noe vi sannsynligvis har lært i de tidlige utdanningsårene. I statistikk er det imidlertid mange eksperimenter som gjøres på et utvalg av en populasjon.

Å bestemme hva et utvalg sett av observasjoner forteller oss om en foreslått forklaring, generelt, krever at vi gjør en slutning, eller som vi statistikere kaller det, til grunn med usikkerhet. Å resonnere med usikkerhet er kjernen i statistisk inferens og gjøres vanligvis ved hjelp av en metode som heter Null Hypothesis Significance Testing. " Baking ovner.

Som et eksempel for denne bloggen vil jeg bruke et europeisk fotballdatasett som er funnet på Kaggle, og vil utføre hypotetesting. Datasettet finner du her.

Trinn 1

Gjør en observasjon

Det første trinnet er å observere fenomener. I dette tilfellet vil det være: Er det en innvirkning av forsvarsaggresjon på gjennomsnittlig tillatte mål?

Steg 2

Undersøk forskningen

Et godt tankesett å gå er å jobbe smartere og ikke vanskeligere. En god ting å gjøre er å se om det allerede eksisterer forskning knyttet til observasjonen din. I så fall kan det hjelpe med å svare på spørsmålet vårt. Å være klar over allerede eksisterende forskning eller eksperimenter vil hjelpe oss med å strukturere eksperimentet bedre, eller kanskje til og med svare på spørsmålet vårt og ikke trenger å gjennomføre eksperimentet i utgangspunktet.

Trinn 3

Form en null hypotese og en alternativ hypotese

En alternativ hypotese er vår utdannede gjetning, og en nullhypotese er ganske enkelt det motsatte. Hvis den alternative hypotesen sier at det er en signifikant sammenheng mellom to variabler, sier nullhypotesen at det ikke er noen signifikant sammenheng.

Nullhypotesen vår vil være: Det er ingen statistisk forskjell i mål tillatt med lag med en forsvarsaggresjonsvurdering større enn eller lik 65 kontra lag under 65 år.

Alternativ hypotese: Det er en statistisk forskjell i mål tillatt med lag med en forsvarsaggresjonsvurdering som er større enn eller lik 65 mot lag under 65 år.

Trinn 4

Bestem om hypotesen vår er en en-tailed test eller en to-tailed test.

En-tailed test

"Hvis du bruker et signifikansnivå på 0,05, lar en en-tailed test alle alfaene dine teste den statistiske betydningen i den ene retningen av interesse." Et eksempel på en en-tailed test vil være "Fotballag med en aggresjonsvurdering lavere enn 65 tillater statistisk signifikant flere mål enn lag med en rangering lavere enn 65."

To-tailed test

“Hvis du bruker et signifikansnivå på 0,05, lar en to-tailed test halvparten av alfaen din teste den statistiske signifikansen i en retning og halvparten av alfaen din til å teste statistisk betydning i den andre retningen. Dette betyr at 0,025 ligger i hver hale i fordelingen av teststatistikken. ”

Med en to-tailed test tester du den statistiske betydningen i begge retninger. I vårt tilfelle tester vi den statistiske betydningen i begge retninger.

Trinn 5

Angi et terskelbelastningsnivå (alfa)

(alfaverdi): Den marginale terskelen som vi er greit med å avvise nullhypotesen. En alfaverdi kan være en hvilken som helst verdi vi setter mellom 0 og 1. Imidlertid er den vanligste alfaverdien i vitenskapen 0,05. En alfa satt til 0,05 betyr at vi er greie med å avvise nullhypotesen, selv om det er 5% eller mindre sjanse for at resultatene skyldes tilfeldighet.

P-verdi: Den beregnede sannsynligheten for å komme til disse dataene tilfeldig.

Hvis vi beregner en p-verdi og den kommer ut på 0,03, kan vi tolke dette som å si “Det er 3% sjanse for at resultatene jeg ser faktisk skyldes tilfeldighet eller ren flaks”.

Bilde fra Learn.co

Målet vårt er å beregne p-verdien og sammenligne den med alfaen vår. Jo lavere alfa, desto strengere er testen.

Trinn 6

Utfør prøvetaking

Her har vi datasettet vårt som heter fotball. For testen vår trenger vi bare to kolonner i datasettet: team_def_aggr_rating og goals_allowed. Vi vil filtrere den ut til disse to kolonnene og deretter opprette to undergrupper for lag med defensiv aggresjonsvurdering større enn eller lik 65 og lag med defensiv aggresjonsvurdering under 65.

Bare for å gjøre en oversikt over hypotestesten vår:

Effekten av forsvarsaggresjon i gjennomsnitt tillatte mål. Null hypotese: Det er ingen statistisk forskjell i mål tillatt med lag med en forsvarsaggresjonsvurdering større enn eller lik 65 mot lag under 65. Alternativ hypotese: Det er en statistisk forskjell i mål tillatt for lag med forsvarsaggresjonsvurdering større enn eller lik 65 mot lag under 65. To-tailed Test Alpha: 0,05

Nå har vi to lister med prøver som vi kan kjøre statistiske tester på. Før det trinnet vil jeg plotte de to distribusjonene for å få et visuelt.

Trinn 7

Utfør to-prøve T-test

To-prøven t-test brukes til å bestemme om to populasjonsmidler er like. For dette vil vi bruke Python-modulen kalt statsmodels. Jeg vil ikke gå for mye i detalj om statsmodeller, men du kan se dokumentasjonen her.

Trinn 8

Evaluer og konkluder

Husk at alfaen vi satte var = 0,05. Som vi ser av testresultatene våre at p-verdien er mindre enn alfaen vår. Vi kan avvise vår nullhypotese og med 95% tillit akseptere vår alternative hypotese.

Takk for at du leser! For mer utdypende informasjon om hypotetesting, kan du sjekke ut dette gruppeprosjektet på GitHub jeg var involvert i på hypotesetesting her.

ressurser:

Ovner, Matteus. “Statistikk og den” vitenskapelige metoden ”Hentet fra YourStatsGuru. https://www.yourstatsguru.com/secrets/scimethod-stats/?v=4442e4af0916

Introduksjon til SAS. UCLA: Statistical Consulting Group. fra https://stats.idre.ucla.edu/other/mult-pkg/faq/general/faq-what-are-the-differences-between-one-tailed-and-two-tailed-tests/ (tilgang til mai 16, 2019).

Ingeniørstatistikkhåndbok. https://www.itl.nist.gov/div898/handbook/eda/section3/eda353.htm