Zum Inhalt springen

Holiday Survival Guide Part 2: The survey study edition

01.12.2025 · 1 Std. 3 Min.

Shownotes

Does the temperature of your coffee six months ago really predict whether you feel gassy today? This week we dissect a new nutrition survey study on hot and cold beverage habits that claims to connect drink temperature with gut symptoms, anxiety, and more—despite relying on year-old memories and a blizzard of statistical tests. It’s the perfect case study for our Holiday Survival Guide Part 2, where we teach you how to talk with Uncle Joe at the dinner table about one of the most common—and most fraught—study designs in science: cross-sectional surveys. We walk through our easy checklist for making sense of results, show how recall bias and measurement error can skew the story, and reacquaint you with nonmonogamous Multiple-Testing Dude, who’s been very busy in this dataset. A friendly, practical guide to spotting when researchers are just torturing the data until it confesses.


Statistical topics

  • Confounding
  • Cross-sectional studies
  • False positives
  • Measurement error
  • Multiple testing
  • PICOT / PIVOT framework
  • Recall bias
  • Research hypotheses
  • Sample size and power
  • Signal vs. noise
  • SMART framework
  • Statistical significance
  • Subgroup analyses
  • Survey design
  • Transparency and trustworthiness


Methodological morals

  • “When your measurement starts with ‘think back to last winter’ you might as well use a random number generator.”
  • “If the effect is only significant in certain subgroups in certain seasons for certain outcomes, it might just be a bad case of gas.”



References



Kristin and Regina’s online courses:

Demystifying Data: A Modern Approach to Statistical Understanding

Clinical Trials: Design, Strategy, and Analysis

Medical Statistics Certificate Program

Writing in the Sciences

Epidemiology and Clinical Research Graduate Certificate Program

Programs that we teach in:

Epidemiology and Clinical Research Graduate Certificate Program


Find us on:

Kristin - LinkedIn & Twitter/X

Regina - LinkedIn & ReginaNuzzo.com


  • (00:00) - Intro
  • (04:36) - Did they have real research hypotheses?
  • (10:29) - Observational or randomized experiment?
  • (19:25) - PICOT and PIVOT
  • (25:36) - Memory problems
  • (31:19) - Five outcomes and measurement problems therein
  • (36:12) - SMART
  • (40:31) - Multiple Testing Dude is having a great time
  • (51:17) - How big is the effect?
  • (57:47) - Wrap-up and Irish Coffee rating scale

Alle Folgen von Normal Curves: Sexy Science, Serious Statistics

Einstellungen

Darstellung

Sprache

Bestimmt, welche Sender dir auf der Startseite zuerst gezeigt werden.

Verlauf

Zuletzt gehörte Sender und Folgen und deine letzten Suchen liegen nur in diesem Browser.

Hinweise

Ein kurzer Hinweis, wenn ein Podcast, dem du folgst, eine neue Folge hat. Einzelne Podcasts stellst du über die Glocke auf ihrer Seite ab.

Konto

Favoriten speichern – in der App und auf der Website.

Tastenkürzel

/
Suche öffnen
Leertaste
Abspielen oder anhalten
← →
Im Player: 15 s zurück, 30 s vor (Folgen) · im Regal: nächste Kachel
↑ ↓
Im Regal: Ziel innerhalb der Kachel
Pos1 / Ende
Im Regal: erste bzw. letzte Kachel
Esc
Fenster oder Menü schließen
?
Diese Übersicht
Läuft gerade

Zur Senderseite

Als Nächstes

    Folgen mit „Als Nächstes“ vormerken – sie laufen nach der aktuellen Folge.