Big Data ระบบบริหารจัดการข้อมูลขนาดใหญ่ (Big Data Management System)

Big Data ระบบบริหารจัดการข้อมูลขนาดใหญ่ (Big Data Management System)

ระบบบริหารจัดการข้อมูลขนาดใหญ่ (Big Data Management System) 

ระบบบริหารจัดการข้อมูล ต้องสามารถดำเนินการเชื่อมโยงแลกเปลี่ยนข้อมูล สามารถเชื่อมโยงข้อมูลจากแหล่งข้อมูลที่หลากหลาย ที่มีใช้อยู่ในปัจจุบัน มีความสามารถดำเนินการกับข้อมูลทั้งประเภทมีโครงสร้าง (Structured) และไม่มีโครงสร้าง (Unstructured) เพื่อพร้อมรับกับการเติบโตด้านข้อมูลที่จะมีในอนาคต รวมถึงการดำเนินการพื้นฐานเกี่ยวกับการบริหารจัดการข้อมูลเพื่อให้สามารถนำข้อมูลไปดำเนินการเพื่อใช้ประโยชน์ต่อไป เช่น การวิเคราะห์ข้อมูล การให้บริการข้อมูล การแลกเปลี่ยนข้อมูล เป็นต้น และเครื่องมือต่าง ๆ ที่จำเป็นในระบบควรใช้งานง่าย เหมาะกับบุคคลากรขององค์กรในการใช้งาน

ระบบบริหารจัดการข้อมูล ควรมีคุณสมบัติดังนี้

1. ต้องมีระบบจัดเก็บข้อมูลที่รองรับการบริหารจัดการบิ๊กดาต้าโดยแยกเป็น 3 ส่วนหลัก คือ Data Lake, Data Warehouse และ Data Mart โดยรองรับทั้งข้อมูลประเภทมีโครงสร้างและไม่มีโครงสร้าง
2. ต้องมีการบริหารจัดการข้อมูลที่หลากหลายครบถ้วนสำหรับทุกข้อมูลจากแหล่ง รองรับการเชื่อมโยงแลกเปลี่ยนข้อมูลทั้งในและนอกหน่วยงานที่เป็นไปได้
3. ต้องรองรับการทำกระบวนการ ETL (Extract, Transform, Load)
4. ต้องรองรับการตรวจสอบคุณภาพข้อมูล (Data Quality) และการทำความสะอาดข้อมูล (Data Cleansing)
5. ต้องรองรับการธรรมาภิบาลข้อมูล (Data Governance) ตามที่ สำนักงานพัฒนารัฐบาลดิจิทัล (สพร.) กำหนด
6. ต้องรองรับการบริการข้อมูล (Data Service) และการแลกเปลี่ยนข้อมูล (Data Sharing)
7. ต้องมีความสามารถในการกำหนดกระบวนการดำเนินการข้อมูลต่าง ๆ ล่วงหน้าได้ (Job Scheduling)
8. ต้องมีระบบสำรองข้อมูล (Data Backup) และกู้คืนข้อมูล (Data Recovery)
9. ต้องรองรับการทำข้อมูลแคตตาล๊อก (Data Catalog)
10. เครื่องมือที่ใช้ในการบริหารจัดการข้อมูลต้องมีคุณสมบัติที่ใช้งานได้ง่าย เป็นมิตรกับผู้ใช้ มีลักษณะในการใช้งานแบบลากวาง (Drag and Drop) เหมาะกับบุคคลากรที่มีความรู้ในด้านการเขียนโปรแกรมน้อย และมีฟังก์ชันการใช้งานที่ครอบคลุมกับความต้องการระบบ ตัวอย่างเช่น Talend, Stream set
11. ต้องรองรับการบริหารจัดการข้อมูลโซเชียล (Social Data) จากแหล่งข้อมูลต่าง ๆ
12. ต้องรองรับการบริหารจัดการข้อมูลด้าน IoT และสามารถจัดการข้อมูลแบบเรียลไทม์ได้