DA 002 การสำรวจข้อมูลเบื้องต้น (Exploratory Data Analysis: EDA)

• การสำรวจข้อมูลเบื้องต้น (Exploratory Data Analysis: EDA)

การสำรวจข้อมูลเบื้องต้น (Exploratory Data Analysis: EDA)

หลังจากที่เราได้ทำความสะอาดและเตรียมข้อมูลให้พร้อมสำหรับการวิเคราะห์แล้ว ขั้นตอนต่อไปที่สำคัญคือการสำรวจข้อมูลเบื้องต้น (Exploratory Data Analysis - EDA) การสำรวจข้อมูลเบื้องต้นเป็นกระบวนการที่ช่วยให้เราทำความเข้าใจข้อมูลของเราอย่างลึกซึ้งยิ่งขึ้น 

ในขั้นตอนการวิเคราะห์ข้อมูล การสำรวจข้อมูลเบื้องต้นเป็นขั้นตอนสำคัญ ที่ช่วยให้เราทำความเข้าใจลักษณะเบื้องต้นของข้อมูลที่มีอยู่ การสำรวจข้อมูลเบื้องต้นช่วยในการตรวจสอบคุณภาพข้อมูล ค้นหาความสัมพันธ์ระหว่างตัวแปร และตรวจสอบสมมติฐานเบื้องต้น การใช้เครื่องมือและเทคนิคต่าง ๆ รวมถึงการใช้กราฟและแผนภูมิเป็นวิธีการที่มีประสิทธิภาพในการสำรวจข้อมูล โดยการสำรวจข้อมูลเบื้องต้นจะช่วยให้เราสามารถ

- ระบุรูปแบบและแนวโน้มในข้อมูล

- ตรวจสอบความผิดปกติและค่าผิดปกติ (outliers) ในข้อมูล

- ตรวจสอบสมมติฐานพื้นฐานของการวิเคราะห์ทางสถิติ

- สร้างสมมติฐานใหม่เกี่ยวกับข้อมูล

- เลือกวิธีการวิเคราะห์ที่เหมาะสม

1. การวิเคราะห์เชิงสำรวจ (Exploratory Data Analysis - EDA)

การวิเคราะห์เชิงสำรวจ เป็นแนวทางในการวิเคราะห์ข้อมูล ที่เน้นการสำรวจข้อมูลอย่างอิสระและยืดหยุ่น โดยไม่มีข้อจำกัดหรือสมมติฐานที่ตั้งไว้ล่วงหน้า EDA ช่วยให้เรามองเห็นภาพรวมของข้อมูล และค้นพบข้อมูลเชิงลึก ที่อาจไม่สามารถค้นพบได้จากการวิเคราะห์ข้อมูลแบบเดิมๆ เป็นกระบวนการในการวิเคราะห์ข้อมูลที่เน้นการทำความเข้าใจลักษณะและโครงสร้างของข้อมูล รวมถึงการค้นหาความสัมพันธ์ที่น่าสนใจระหว่างตัวแปรต่างๆ การวิเคราะห์เชิงสำรวจประกอบด้วยหลายขั้นตอน ซึ่งรวมถึงการสรุปข้อมูลเชิงสถิติ การสร้างกราฟและแผนภูมิ และการตรวจสอบความสัมพันธ์ระหว่างตัวแปร

หลักการสำคัญของ EDA 

- การแสดงผลข้อมูล (Visualization) การแสดงผลข้อมูลด้วยกราฟและแผนภูมิเป็นเครื่องมือสำคัญในการทำ EDA ช่วยให้เรามองเห็นรูปแบบและแนวโน้มในข้อมูลได้ง่ายขึ้น

- การสรุปสถิติ (Summary Statistics) การคำนวณค่าสถิติต่างๆ เช่น ค่าเฉลี่ย มัธยฐาน ฐานนิยม พิสัย ส่วนเบี่ยงเบนมาตรฐาน และอื่นๆ ช่วยให้เราเข้าใจลักษณะการกระจายของข้อมูล

- การแปลงข้อมูล (Transformation) การแปลงข้อมูล เช่น การปรับขนาด (scaling) หรือการแปลงลอการิทึม (logarithmic transformation) ช่วยให้เราสามารถวิเคราะห์ข้อมูลได้ง่ายขึ้น

ขั้นตอนของการวิเคราะห์เชิงสำรวจ

- การสรุปข้อมูลเชิงสถิติ การสรุปข้อมูลเชิงสถิติเช่น ค่าเฉลี่ย (Mean), มัธยฐาน (Median), ส่วนเบี่ยงเบนมาตรฐาน (Standard Deviation), และค่าฐานนิยม (Mode) ช่วยให้เราเข้าใจลักษณะเบื้องต้นของข้อมูลได้

- การตรวจสอบการแจกแจงข้อมูล การตรวจสอบการแจกแจงของข้อมูลช่วยให้เราทราบว่าข้อมูลมีการแจกแจงแบบใด เช่น การแจกแจงปกติ (Normal Distribution), การแจกแจงแบบเบ้ซ้าย (Left Skewed Distribution), หรือการแจกแจงแบบเบ้ขวา (Right Skewed Distribution)

- การตรวจสอบความสัมพันธ์ระหว่างตัวแปร การตรวจสอบความสัมพันธ์ระหว่างตัวแปรช่วยให้เราค้นหาความสัมพันธ์ที่มีนัยสำคัญระหว่างตัวแปรต่าง ๆ ในข้อมูล

- การตรวจสอบค่าผิดปกติ (Outliers) ค่าผิดปกติคือค่าที่แตกต่างจากค่าปกติของข้อมูลมาก ๆ การตรวจสอบและจัดการค่าผิดปกติเป็นขั้นตอนสำคัญในการสำรวจข้อมูล

- การตรวจสอบค่าที่หายไป (Missing Values) การตรวจสอบและจัดการค่าที่หายไปช่วยให้ข้อมูลที่ใช้ในการวิเคราะห์มีความสมบูรณ์มากขึ้น

2. เครื่องมือและเทคนิคในการสำรวจข้อมูล

มีเครื่องมือและเทคนิคมากมายที่สามารถใช้ในการสำรวจข้อมูลได้อย่างมีประสิทธิภาพ เครื่องมือและเทคนิคเหล่านี้ช่วยให้เราสามารถทำความเข้าใจข้อมูลได้ดีขึ้น รวมถึงสามารถค้นหาความสัมพันธ์และลักษณะเฉพาะของข้อมูลได้ เครื่องมือในการสำรวจข้อมูล

2.1 เครื่องมือวิเคราะห์ข้อมูลเชิงสถิติ (Statistical Analysis Tools) เช่น SPSS, SAS, และ Stata ใช้ในการวิเคราะห์ข้อมูลเชิงสถิติและการสำรวจข้อมูล

- สถิติเชิงพรรณนา ค่าเฉลี่ย มัธยฐาน ฐานนิยม พิสัย ส่วนเบี่ยงเบนมาตรฐาน ความแปรปรวน เป็นต้น

- การแจกแจงความถี่ ฮิสโทแกรม ตารางความถี่

- การทดสอบสมมติฐาน t-test, chi-square test, ANOVA

- การวิเคราะห์สหสัมพันธ์ correlation coefficient

2.2 เครื่องมือการแสดงผลข้อมูล เครื่องมือวิเคราะห์ข้อมูลเชิงภาพ (Visualization Tools) เช่น Tableau, Power BI, และ D3.js ใช้ในการสร้างกราฟและแผนภูมิเพื่อสำรวจข้อมูล- แผนภูมิแท่ง (Bar Chart)

- แผนภูมิวงกลม (Pie Chart)

- แผนภูมิเส้น (Line Chart)

- แผนภูมิกระจาย (Scatter Plot)

- ฮิสโทแกรม (Histogram)

- แผนที่ความร้อน (Heatmap)

- Box Plot

- Violin Plot

2.3 เครื่องมือวิเคราะห์ข้อมูลเชิงโปรแกรม (Programming Tools) เช่น ภาษาโปรแกรม Python และ R มีไลบรารีที่ทรงพลังเช่น Pandas, NumPy, Matplotlib, และ ggplot2 ที่ช่วยในการสำรวจข้อมูล

3. เทคนิคในการสำรวจข้อมูล

เทคนิคในการสำรวจข้อมูล มีหลายวิธีในการทำงาน เช่น

- การสร้างกราฟและแผนภูมิ การสร้างกราฟและแผนภูมิช่วยให้เราสามารถมองเห็นลักษณะของข้อมูลได้ง่ายขึ้น เช่น ฮิสโตแกรม (Histogram), แผนภูมิแท่ง (Bar Chart), และแผนภูมิกระจาย (Scatter Plot)

- การใช้ตารางสรุป (Summary Tables) การใช้ตารางสรุปช่วยในการสรุปข้อมูลเชิงสถิติและการเปรียบเทียบระหว่างตัวแปรต่างๆ

- การตรวจสอบค่าผิดปกติและค่าที่หายไป การใช้เทคนิคเช่น Box Plot และ Heatmap ในการตรวจสอบค่าผิดปกติและค่าที่หายไป

- การวิเคราะห์ความสัมพันธ์ (Correlation Analysis) การใช้เทคนิคเช่นการวิเคราะห์สหสัมพันธ์ (Correlation Analysis) เพื่อค้นหาความสัมพันธ์ระหว่างตัวแปร

- การแบ่งกลุ่มข้อมูล (Segmentation) การแบ่งข้อมูลออกเป็นกลุ่มย่อยๆ ตามลักษณะหรือคุณสมบัติที่ต้องการศึกษา

- การเปรียบเทียบกลุ่มข้อมูล (Comparison) การเปรียบเทียบค่าสถิติหรือการแจกแจงความถี่ของกลุ่มข้อมูลต่างๆ

- การวิเคราะห์แนวโน้ม (Trend Analysis) การศึกษาการเปลี่ยนแปลงของข้อมูลตามช่วงเวลา

- การวิเคราะห์ความสัมพันธ์ (Correlation Analysis) การศึกษาความสัมพันธ์ระหว่างตัวแปรต่างๆ

3. การใช้กราฟและแผนภูมิในการสำรวจข้อมูล

กราฟและแผนภูมิ เป็นเครื่องมือที่มีประสิทธิภาพในการสำรวจข้อมูล ช่วยให้เรามองเห็นรูปแบบและแนวโน้มในข้อมูลได้ง่ายขึ้น และสามารถสื่อสารข้อมูลเชิงลึกได้อย่างมีประสิทธิภาพ การใช้กราฟและแผนภูมิเป็นวิธีการที่มีประสิทธิภาพในการสำรวจข้อมูล กราฟและแผนภูมิช่วยให้เรามองเห็นลักษณะของข้อมูลได้ง่ายขึ้น และสามารถค้นหาความสัมพันธ์และลักษณะเฉพาะของข้อมูลได้

ประเภทของกราฟและแผนภูมิในการสำรวจข้อมูล 

- แผนภูมิแท่ง (Bar Chart) ใช้ในการเปรียบเทียบค่าของตัวแปรต่าง ๆ และแสดงความแตกต่างระหว่างกลุ่มข้อมูล ใช้แสดงจำนวนหรือสัดส่วนของข้อมูลแต่ละประเภท เช่น จำนวนสินค้าที่ขายได้ในแต่ละเดือน หรือสัดส่วนของลูกค้าในแต่ละกลุ่มอายุ

- แผนภูมิวงกลม ใช้แสดงสัดส่วนของข้อมูลแต่ละประเภทเทียบกับข้อมูลทั้งหมด เช่น สัดส่วนของรายได้จากแต่ละผลิตภัณฑ์

- แผนภูมิเส้น ใช้แสดงแนวโน้มของข้อมูลตามช่วงเวลา เช่น แนวโน้มของยอดขายรายเดือน หรือแนวโน้มของอุณหภูมิรายวัน

- แผนภูมิกระจาย (Scatter Plot) ใช้ในการแสดงความสัมพันธ์ระหว่างตัวแปรสองตัวและช่วยให้เรามองเห็นรูปแบบของความสัมพันธ์ ใช้แสดงความสัมพันธ์ระหว่างตัวแปรสองตัว เช่น ความสัมพันธ์ระหว่างอายุและรายได้

- ฮิสโตแกรม (Histogram) ใช้ในการแสดงการแจกแจงของข้อมูลและช่วยให้เราเห็นลักษณะของการแจกแจง เช่น การแจกแจงปกติ หรือการแจกแจงแบบเบ้ซ้ายหรือเบ้ขวา ใช้แสดงการแจกแจงความถี่ของข้อมูลที่เป็นตัวเลข เช่น การแจกแจงความถี่ของคะแนนสอบ

- แผนภูมิความร้อน (Heatmap) ใช้ในการแสดงความสัมพันธ์ระหว่างตัวแปรหลายตัวในรูปแบบที่เข้าใจง่าย ใช้แสดงความสัมพันธ์ระหว่างตัวแปรสองตัวในรูปแบบของสี เช่น ความสัมพันธ์ระหว่างผลิตภัณฑ์และภูมิภาค

- กล่องแผนภูมิ (Box Plot) ใช้ในการแสดงการกระจายของข้อมูลและค่าผิดปกติ ใช้แสดงการกระจายของข้อมูลและค่าผิดปกติ เช่น การกระจายของราคาบ้านในแต่ละทำเล

- Violin Plot ใช้แสดงการแจกแจงความถี่ของข้อมูลที่เป็นตัวเลขในรูปแบบของไวโอลิน เช่น การแจกแจงความถี่ของรายได้ของพนักงาน 

กรณีศึกษาการสำรวจข้อมูลเบื้องต้น 

เพื่อให้เห็นภาพที่ชัดเจนของการประยุกต์ใช้การสำรวจข้อมูลเบื้องต้น เราจะยกตัวอย่างกรณีศึกษาการสำรวจข้อมูลของการขายสินค้าของบริษัทแห่งหนึ่ง

ขั้นตอนที่ 1 การสรุปข้อมูลเชิงสถิติ เราเริ่มต้นด้วยการสรุปข้อมูลเชิงสถิติ เช่น ค่าเฉลี่ย มัธยฐาน และส่วนเบี่ยงเบนมาตรฐานของยอดขายและตัวแปรที่เกี่ยวข้อง

ขั้นตอนที่ 2 การตรวจสอบการแจกแจงข้อมูล เราสามารถใช้ฮิสโตแกรมในการตรวจสอบการแจกแจงของข้อมูลยอดขาย

ขั้นตอนที่ 3 การตรวจสอบความสัมพันธ์ระหว่างตัวแปร เราสามารถใช้แผนภูมิกระจายในการตรวจสอบความสัมพันธ์ระหว่างยอดขายและราคา

ขั้นตอนที่ 4 การตรวจสอบค่าผิดปกติและค่าที่หายไป เราสามารถใช้กล่องแผนภูมิในการตรวจสอบค่าผิดปกติของยอดขาย

ขั้นตอนที่ 5 การสรุปผลการสำรวจข้อมูล จากการสำรวจข้อมูลเบื้องต้น เราพบว่า...

การสรุปผลเหล่านี้ช่วยให้เราทำความเข้าใจลักษณะของข้อมูลเบื้องต้นได้ และสามารถนำไปใช้ในการวิเคราะห์เชิงลึกต่อไป

สรุป

การสำรวจข้อมูลเบื้องต้น เป็นขั้นตอนที่สำคัญในการวิเคราะห์ข้อมูล การใช้เครื่องมือและเทคนิคในการสำรวจข้อมูล ช่วยให้เราทำความเข้าใจลักษณะของข้อมูลได้ดีขึ้น การใช้กราฟและแผนภูมิในการสำรวจข้อมูลเป็นวิธีการที่มีประสิทธิภาพ ในการค้นหาความสัมพันธ์และลักษณะเฉพาะของข้อมูล การวิเคราะห์เชิงสำรวจ เครื่องมือและเทคนิคในการสำรวจข้อมูล และการใช้กราฟและแผนภูมิในการสำรวจข้อมูล เป็นเครื่องมือที่ช่วยให้เราสามารถทำความเข้าใจข้อมูลของเราอย่างลึกซึ้งยิ่งขึ้น การสำรวจข้อมูลเบื้องต้นที่ดีจะช่วยให้การวิเคราะห์เชิงลึกมีความแม่นยำและมีประสิทธิภาพมากขึ้น ซึ่งจะนำไปสู่การวิเคราะห์ข้อมูลที่แม่นยำและมีประสิทธิภาพมากขึ้น

. 

----------------------------------------------------------------

ที่มาข้อมูล

-

รวบรวมโดย

- www.iok2u.com