Big Data กระบวนการทำงานข้อมูลขนาดใหญ่ (Big Data Process)

ข้อมูลขนาดใหญ่และขั้นตอนการทำงาน (Big Data Process) จะมีความเกี่ยวข้องกับกระบวนการทำงานฐานข้อมูลและสารสนเทศ จะเป็นการค้นหานำมารวบรวมและจัดการให้เหมาะสมนำไปจัดเก็บ และสามารถเรียกใช้งานเพื่อการประมวลผลได้ง่ายต่อไป ขั้นตอนการทำงานด้านข้อมูลขนาดใหญ่ (Big Data) จะมีความยุ่งยากและซับซ้อนหลายขั้นตอน หลายส่วนต้องมีการใช้เครื่องมืออุปกรณ์โปรแกรมที่มีความสามารถในการทำงานเฉพาะด้าน หรือเครื่องมือที่ทำงานซับซ้อน กระบวนการทำงานด้านข้อมูลขนาดใหญ่ (Big Data) แบ่งเป็น 6 ขั้นตอน ดังนี้

- การนำเข้าข้อมูล (Data ingestion) เป็นขั้นตอนเริ่มต้นในงาน จะเป็นการค้นหาและทำการรวบรวมข้อมูลจากแหล่งต่างๆ เช่น โซเชียลมีเดีย (social media) จากการทำธุรกรรมออนไลน์ (online transactions) เครือข่ายเซ็นเซอร์ (sensor networks) จากฐานข้อมูล (Database) หรือแหล่งที่เก็บข้อมูลบนคลาวด์บนระบบ IoT

- การจัดเก็บข้อมูล (Data storage) การจัดเก็บข้อมูลในลักษณะที่ปรับขนาดได้และมีประสิทธิภาพ มักจะอยู่ในระบบแบบกระจาย เช่น ฐานข้อมูล Hadoop หรือ NoSQL

- การประมวลผลข้อมูล (Data processing) การแปลงและล้างข้อมูล โดยทั่วไปจะใช้เครื่องมือต่างๆ เช่น Apache Spark หรือ Apache Storm

- การวิเคราะห์ข้อมูล (Data analysis) การวิเคราะห์ข้อมูลเพื่อเปิดเผยข้อมูลเชิงลึกและรูปแบบ โดยมักจะใช้อัลกอริทึมการเรียนรู้ของเครื่องและเครื่องมือสร้างภาพข้อมูล

- การจัดการกำกับดูแลข้อมูล (Data governance) ทำให้มั่นใจว่าข้อมูลได้รับการจัดการ ปกป้อง และควบคุมอย่างเหมาะสมตลอดวงจรชีวิต เพื่อให้เป็นไปตามข้อกำหนดด้านกฎระเบียบและธุรกิจ

- การเผยแพร่ข้อมูล (Data dissemination) การแบ่งปันข้อมูลเชิงลึกและผลลัพธ์กับผู้มีส่วนได้ส่วนเสีย โดยมักจะผ่านรายงาน แดชบอร์ด และเครื่องมือการแสดงข้อมูลอื่นๆ

ขั้นตอนการทำงานข้อมูลขนาดใหญ่ ควรออกแบบให้มีการทำงานที่เป็นแบบอัตโนมัติ สามารถปรับปรุงข้อมูลและการดำเนินงานข้อมูลตามเวลาจริงขณะนั้น หรือให้ได้ความถูกต้องรวดเร็วของข้อมูลใกล้เคียงเวลาจริงมากที่สุด เพื่อให้การใช้สารสนเทศที่ได้มาสนับสนุนการตัดสินใจให้ได้ทันทีแบบเรียลไทม์ และง่ายในการปรับปรุงความถูกต้องของข้มอูลได้อย่างต่อเนื่อง และกระบวนการควรออกแบบให้สามารถทำงานเป็นแบบวนซ้ำได้ตลอด ทำให้สามารถปรับแต่งและปรับปรุงการทำงานของข้อมูลได้อย่างต่อเนื่อง