Lake, warehouse of lakehouse? Mathijs Visscher en Nicky Boon over data engineering bij Stedin

Mathijs Visscher en Nicky Boon zijn allebei data platform engineer bij Stedin. Met Kishen en Saber praten ze over data engineering: de fundering onder moderne dataplatformen en AI. Want zonder goede data geen slimme AI.

Onderwerpen

• Van psychologie naar data: hoe Mathijs en Nicky in data engineering belandden
• Het verschil tussen data engineer, data scientist, data analist en data platform engineer
• De toolbox: Python, Spark, SQL, Databricks, Fabric en Snowflake
• Data lake, warehouse of lakehouse?
• Batch of realtime, en waarom je bijna altijd voor batch kiest
• Een datapipeline bouwen, datamodellen en normaliseren
• Datakwaliteit
• Stelling: iedereen wil AI, maar niemand wil eerst zijn data op orde brengen
• Testen en reviewen met AI
• De grootste dataramp: never deploy on Friday

Hosts & Gasten

• Mathijs Visscher (Guest)
• Nicky Boon (Guest)
• Kishen Simbhoedatpanday (Host)
• Saber Karmous (Host)

Onderwerpen

• [00:00:14] Intro
• [00:02:12] Van psychologie naar data
• [00:05:02] Engineer, scientist of analist
• [00:10:01] Wat doet een data platform engineer?
• [00:14:15] De toolbox
• [00:17:28] Data lake, warehouse of lakehouse
• [00:20:16] Batch of realtime
• [00:22:51] Een datapipeline bouwen
• [00:24:57] Datamodellen en normaliseren
• [00:31:03] Datakwaliteit
• [00:33:45] Wat is er over vijf jaar verdwenen?
• [00:40:21] Stelling: eerst je data op orde
• [00:46:06] Testen en reviewen met AI
• [00:52:46] Vanaf nul beginnen
• [00:54:47] De grootste dataramp
• [00:58:21] Tips
• [01:03:57] Outro

Tips & Links

• Mathijs Visscher: Mathijs Visscher op LinkedIn
• Nicky Boon: Nicky Boon op LinkedIn
• Databricks
• Microsoft Fabric
• Apache Spark
• Great Expectations
• Saber Karmous: X-Men Gold & Blue omnibus
• Nicky Boon: Breaking Bad
• Mathijs Visscher: Raspberry Pi als audioserver
• Kishen Simbhoedatpanday: UniFi-netwerk

CodeKlets Links

• Website
• Bluesky
• LinkedIn