Data Pipeline ศิลปะของการจัดการข้อมูล กับคุณวรุฒ กฤษรุ่งเรือง | Tech Monday EP.139

ข้อมูลของเรา เวลามีขนาดไม่เยอะ ใช้เครื่องมือธรรมดาอย่าง spreadsheet ก็น่าจะเพียงพอแล้ว แต่เวลาข้อมูลมีขนาดใหญ่ มันก็จะไม่ง่ายอย่างนั้น วันนี้คุณไอซ์ วรุฒ กฤษรุ่งเรือง Senior Data Engineer จากบริษัท Data Wow จะมาเล่าให้ฟัง ตั้งแต่ต้นทาง ไปจนถึงปลายทาง Data Pipeline ทำอย่างไร ยากไหม ติดตามได้ในตอนนี้ . คำถาม Data Pipeline คืออะไร แล้วมันมีประโยชน์อย่างไรครับ อะไรเป็นองค์ประกอบของ Data Pipeline แล้วแต่ละส่วนมันเชื่อมโยงกันยังไง อะไรเป็นความท้าทายเวลาเราต้องสร้าง หรือ maintain data pipeline ครับ ระหว่าง batch processing กับ real-time/streaming data pipeline เราเลือกใช้อย่างไร คำว่า data pipeline นี่ มันคือการเอาข้อมูลมายัดใส่พวกตระกูล BigQuery หรือ RedShift หรือเปล่า มีเคสที่ data pipeline มีบทบาทสำคัญกับธุรกิจมาเล่าให้ฟังไหม อะไรเป็น technology ที่น่าสนใจและต้องจับตามองสำหรับการทำ data pipeline ถ้าวันนี้เราจัดการกับข้อมูลจำนวนนึง แล้วในอนาคตข้อมูลมันเยอะขึ้นมากๆ เราจะจัดการหรือเตรียมความพร้อมกับ data pipeline ได้อย่างไร เราสามารถทดสอบได้ไหม ว่า data pipeline เราทำงานได้อย่างถูกต้อง Data Pipeline มีผลกับการทำ Machine Learning หรือ Data Analytics ไหม มีข้อแนะนำให้คนฟัง เวลาที่คิดจะสร้าง data pipeline ควรจะต้องคิดถึงเรื่องอะไรบ้างไหม . . ติดตาม Mission To The Moon Media ได้ที่ . Website: https://bit.ly/3oHFe99 Facebook: https://bit.ly/32Oe4nW Instagram: https://bit.ly/2OMR30a Twitter: https://bit.ly/2TyBOH6 Blockdit: https://bit.ly/3jI0pEk YouTube: https://bit.ly/3DWhaFG TikTok: https://bit.ly/35Gq8aX SoundCloud: https://bit.ly/3e4Tzax Podbean: https://bit.ly/3oCqU1g Spotify: https://spoti.fi/37MNajh Apple Podcast: https://apple.co/3qiv2cp Clubhouse: @mttmclub