Introduction

Human Activity Recognition (HAR) หรือการรู้จำกิจกรรมมนุษย์เนี่ย มันคือการระบุกิจกรรมทางกายภาพที่คนเราทำอยู่ โดยอาศัยข้อมูลจากเซ็นเซอร์ในสมาร์ทโฟน, นาฬิกาอัจฉริยะ หรืออุปกรณ์สวมใส่ต่างๆ นั่นแหละ กิจกรรมที่ว่านี้ก็มีตั้งแต่พื้นฐานอย่าง เดิน นั่ง วิ่ง ไปจนถึงกิจกรรมที่ซับซ้อนขึ้นอย่าง การเล่นกีฬาหรือการใช้เครื่องมือต่างๆ

ความสำคัญของเจ้า HAR เนี่ย มันช่วยขับเคลื่อนงานในหลายๆ วงการเลยนะ อย่างเช่น:

ด้านการแพทย์และสุขภาพ (Healthcare): ใช้เพื่อติดตามสุขภาพและกิจกรรมของผู้ป่วย โดยเฉพาะผู้สูงอายุหรือผู้ที่มีความบกพร่องทางกาย เพื่อประเมินความเป็นอยู่ทั้งกายและใจ

ด้านกีฬาและฟิตเนส (Sports and fitness): ในวงการนี้ HAR ช่วยติดตามและวิเคราะห์ประสิทธิภาพของนักกีฬา ให้ข้อมูลเจ๋งๆ สำหรับปรับปรุงการฝึกซ้อมและสมรรถภาพร่างกาย

ด้านความปลอดภัยและการเฝ้าระวัง (Security and surveillance): ใช้ในระบบรักษาความปลอดภัยเพื่อตรวจจับและตอบสนองต่อภัยคุกคาม เช่น การระบุตัวบุคคลที่น่าสงสัย

ด้านการตลาดและโฆษณา (Marketing and advertising): ด้วยการวิเคราะห์กิจกรรมและพฤติกรรมของคน HAR ช่วยให้บริษัทเข้าใจพฤติกรรมผู้บริโภคมากขึ้น เพื่อตัดสินใจเกี่ยวกับการพัฒนาผลิตภัณฑ์และกลยุทธ์การตลาดได้แม่นยำขึ้น

ด้านการขนส่ง (Transportation): ในระบบขนส่ง HAR ใช้ตรวจสอบระดับกิจกรรมของผู้โดยสาร เพื่อเพิ่มประสิทธิภาพการใช้ทรัพยากร, ปรับปรุงความปลอดภัย และลดความเสี่ยงจากอุบัติเหตุ

ด้านปฏิสัมพันธ์ระหว่างมนุษย์กับคอมพิวเตอร์ (Human-Computer Interaction - HCI): ใน HCI, HAR ถูกใช้พัฒนาระบบที่สามารถรู้จำและตอบสนองต่อท่าทางและการเคลื่อนไหวของผู้ใช้ ทำให้การใช้งานคอมพิวเตอร์และอุปกรณ์ดิจิทัลอื่นๆ ง่ายขึ้น

ด้านหุ่นยนต์ (Robotics): HAR ใช้กับหุ่นยนต์เพื่อช่วยให้มันเข้าใจและตอบสนองต่อการกระทำและการเคลื่อนไหวของมนุษย์ได้

โดยรวมแล้ว Human Activity Recognition มีศักยภาพที่จะปฏิวัติวิธีที่เราติดตามและตอบสนองต่อพฤติกรรมมนุษย์ มันให้ข้อมูลเชิงลึกที่มีค่าและเปิดทางให้กับแอปพลิเคชันใหม่ๆ ในอุตสาหกรรมและสาขาต่างๆ มากมายเลย สู้งานนะน้อง!

Human Activity Recognition (HAR) Applications in Healthcare

เจ้า HAR เนี่ย มีบทบาทสำคัญในวงการสุขภาพหลายด้านเลย งานหลักๆ ที่เห็นชัดก็มีประมาณนี้:

การติดตามและประเมินกิจกรรมทางกาย (Monitoring and assessment of physical activity): ด้วยการติดตามระดับกิจกรรมของผู้ป่วย เจ้าหน้าที่ทางการแพทย์สามารถประเมินความเป็นอยู่และวางแผนการรักษาเฉพาะบุคคลได้

การตรวจจับและป้องกันการหกล้ม (Fall detection and prevention): HAR ใช้ตรวจจับและป้องกันการหกล้มในผู้ป่วยสูงอายุ ช่วยลดความเสี่ยงการบาดเจ็บและเพิ่มคุณภาพชีวิตได้

การฟื้นฟูสมรรถภาพ (Rehabilitation): การติดตามความคืบหน้าของผู้ป่วยที่กำลังฟื้นฟูร่างกาย ช่วยให้ทีมแพทย์ประเมินผลและปรับแผนการรักษาได้ทันที

การจัดการโรคเรื้อรัง (Chronic disease management): สำหรับผู้ป่วยโรคเรื้อรัง เช่น เบาหวานหรือโรคหัวใจ HAR ใช้ติดตามกิจกรรมและให้สัญญาณเตือนล่วงหน้าหากมีปัญหาสุขภาพที่อาจเกิดขึ้น

สุขภาพพฤติกรรมและจิตใจ (Behavioral and mental health): การวิเคราะห์รูปแบบกิจกรรมของผู้ป่วย ทำให้เข้าใจสุขภาพพฤติกรรมและจิตใจมากขึ้น ช่วยในการวินิจฉัยและรักษาโรค เช่น ภาวะซึมเศร้าหรือวิตกกังวล

การดูแลผู้สูงอายุ (Elderly care): การติดตามกิจกรรมของผู้สูงอายุ ช่วยให้สามารถประเมินความเป็นอยู่และให้การสนับสนุนหรือดูแลได้อย่างทันท่วงที

สรุปแล้ว Human Activity Recognition มีศักยภาพที่จะเปลี่ยนโฉมวิธีการดูแลสุขภาพผู้ป่วย มันให้ข้อมูลเชิงลึกที่มีค่าและเปิดแนวทางการรักษาแบบใหม่ๆ ขึ้นมาเลย งานนี้ต้องจัดไปวัยรุ่น! ห้ามช็อตนะตัวนี้

HAR เอามาใช้ตรวจจับและป้องกันการหกล้มยังไงบ้าง?

การตรวจจับและป้องกันการหกล้มเป็นหนึ่งในแอปพลิเคชันหลักของ Human Activity Recognition (HAR) ในวงการสุขภาพเลยนะน้อง การหกล้มเป็นปัญหาที่พบบ่อยและร้ายแรงสำหรับผู้สูงอายุ และอาจนำไปสู่การบาดเจ็บสาหัสหรือเสียชีวิตได้

เราสามารถใช้ HAR ในการตรวจจับและป้องกันการหกล้มได้หลายวิธี:

อุปกรณ์สวมใส่ (Wearable devices): โดยใช้อุปกรณ์สวมใส่อย่างสมาร์ทวอทช์หรือฟิตเนสแทรกเกอร์ ผู้สูงอายุสามารถติดตามระดับกิจกรรมของตัวเองได้ตลอดเวลา และจะได้รับการแจ้งเตือนหากมีการเปลี่ยนแปลงการเคลื่อนไหวอย่างกะทันหันที่บ่งบอกถึงการหกล้ม

เซ็นเซอร์ในสภาพแวดล้อม (Ambient sensors): เซ็นเซอร์ในสภาพแวดล้อมอย่างตัววัดความเร่ง (Accelerometer) และไจโรสโคป (Gyroscope) สามารถติดตั้งในบ้านเพื่อติดตามการเคลื่อนไหวและระดับกิจกรรมของผู้สูงอายุได้ เซ็นเซอร์เหล่านี้ใช้ตรวจจับการหกล้มและแจ้งเตือนผู้ดูแลหรือสมาชิกในครอบครัวแบบเรียลไทม์เลย

อัลกอริทึมแมชชีนเลิร์นนิง (Machine learning algorithms): โดยการวิเคราะห์ข้อมูลที่เก็บรวบรวมจากอุปกรณ์สวมใส่หรือเซ็นเซอร์ในสภาพแวดล้อม เราสามารถใช้อัลกอริทึมแมชชีนเลิร์นนิงเพื่อตรวจจับการหกล้มและแยกแยะมันออกจากการเคลื่อนไหวหรือกิจกรรมอื่นๆ ได้

โมเดลทำนาย (Predictive models): เราสามารถพัฒนาโมเดลทำนายเพื่อระบุตัวบุคคลที่มีความเสี่ยงสูงที่จะหกล้ม และให้การดูแลหรือป้องกันแบบเจาะจงเพื่อลดความเสี่ยงนั้นได้

ด้วยการใช้เทคนิคเหล่านี้และอื่นๆ Human Activity Recognition มีศักยภาพที่จะช่วยให้ผู้ให้บริการด้านสุขภาพตรวจจับและป้องกันการหกล้มในผู้สูงอายุได้ดีขึ้นอย่างมาก ช่วยยกระดับคุณภาพชีวิตและลดความเสี่ยงจากการบาดเจ็บสาหัสได้เลย งานนี้จัดไปวัยรุ่น!

เกี่ยวกับโปรเจคนี้

โปรเจคนี้เป็นการบูรณาการระดับสูงระหว่าง ปัญญาประดิษฐ์ (AI) และ IoT สำหรับแอปพลิเคชันด้านสุขภาพที่สำคัญ โดยการฝังบอร์ด Nicla Sense ME ลงในเสื้อแจ็คเก็ตสมาร์ท อุปกรณ์นี้จะสามารถตรวจจับและแยกแยะระหว่างกิจกรรมทางกายภาพทั่วไป (เช่น เดิน, นั่ง, นิ่ง) กับเหตุการณ์ "หกล้ม" ที่กะทันหันและเป็นอันตรายถึงชีวิตได้ — และจะส่งสัญญาณแจ้งเตือนฉุกเฉินแบบไร้สายโดยอัตโนมัติ

Smart Fall Detection Jacket นี้คือการนำ Human Activity Recognition (HAR) มาประยุกต์ใช้ ซึ่งเป็นสาขาที่ใช้ข้อมูลจากเซ็นเซอร์เพื่อระบุการเคลื่อนไหวทางกาย พัฒนาขึ้นสำหรับการแข่งขัน Arduino x K-Way Project ระบบนี้เป็นตัวแทนของอนาคตในการดูแลผู้สูงอายุ โดยให้วิธีการที่ไม่รบกวนชีวิตประจำวันเพื่อรับประกันความปลอดภัย โดยไม่จำเป็นต้องมีคนคอยเฝ้าดูตลอดเวลา

โปรเจคนี้ถูกส่งเข้าประกวดในการแข่งขัน Arduino x Kway Project ฮาร์ดแวร์หลักของโปรเจคอย่าง Nicla Sense ME นั้นได้รับมาจาก Arduino ส่วนเสื้อแจ็คเก็ตได้รับมาจาก K-Way

ในโปรเจคนี้ เราใช้ Nicla Sense ME ร่วมกับเสื้อแจ็คเก็ตจาก K-Way เพื่อสร้างเสื้อแจ็คเก็ตสมาร์ทสำหรับตรวจจับการหกล้ม ในการสร้างระบบ เราจะฝังโหนดเซ็นเซอร์ลงในเสื้อแจ็คเก็ต โดยใช้ Nicla Sense ME เป็นโหนดเซ็นเซอร์ ซึ่งทำให้สามารถทำการอนุมาน (Inference) บนอุปกรณ์ได้เลยและส่งผลลัพธ์ผ่าน BLE Nicla Sense ME มี Accelerometer ที่ตรวจจับการเปลี่ยนแปลงของความเร็ว จึงสามารถตรวจจับการหกล้มได้ การตรวจจับหกล้มทำได้ด้วยความช่วยเหลือของโมเดล TinyML ที่สร้างขึ้นโดยใช้ Edge Impulse Studio รูปภาพต่อไปนี้แสดงการติดตั้งเสื้อแจ็คเก็ตสำหรับการเก็บข้อมูลและการทดสอบ สู้งานนะน้อง!

ภาพรวมระบบเฝ้าระวังสุขภาพด้วย TinyML

หัวใจหลักของ Safety Jacket นี้คือ Machine Learning at the Edge แทนที่จะส่งข้อมูลเซ็นเซอร์ดิบๆ ที่กินพลังงานมากไปวิเคราะห์บนคลาวด์ โปรเจคนี้ใช้ Edge Impulse TinyML ในการฝึก Neural Network ที่ซับซ้อนให้ "อาศัย" อยู่ในโปรเซสเซอร์ของ Nicla Sense ME เลย วิธีนี้ทำให้ระบบสามารถวิเคราะห์รูปแบบการเคลื่อนไหว (การเปลี่ยนแปลงของความเร่งและความเร็ว) แบบเรียลไทม์ และระบุ "ลายเซ็นของการหกล้ม" ได้ทันที ด้วยความแม่นยำเกิน 99% ห้ามช็อตนะตัวนี้!

วิธีคิดแบบช่างๆ

เราจะใช้ตัววัดความเร่ง (Accelerometer) ที่มีอยู่แล้วในบอร์ด มาวัดค่าความเร่ง หรือการเปลี่ยนแปลงของความเร็วในทิศทางต่างๆ ตัวนี้แหละที่จะช่วยตรวจจับและวิเคราะห์การเคลื่อนไหวและระดับกิจกรรมของเรา เพื่อที่จะระบุและตอบสนองต่อการล้มได้

เวลาที่เกิดการล้มขึ้นมา ตัววัดความเร่งจะจับการเปลี่ยนแปลงความเร็วแบบฉับพลันได้ ซึ่งเราก็เอามาใช้ระบุได้เลยว่านี่คือเหตุการณ์ "ล้ม" จากนั้นข้อมูลนี้ก็จะถูกวิเคราะห์ต่อด้วยอัลกอริทึมแมชชีนเลิร์นนิงฝังตัวที่สร้างจาก Edge Impulse Platform เพื่อตัดสินใจว่ามีการล้มจริงไหม และจำเป็นต้องเรียกหน่วยกู้ภัยหรือเปล่า

ด้วยการติดตามระดับกิจกรรมของเราอย่างต่อเนื่อง ตัววัดความเร่งสามารถให้ข้อมูลแบบเรียลไทม์เกี่ยวกับการล้มได้ ทำให้เราสามารถเข้าไปช่วยเหลือได้ทันที ก่อนที่จะบาดเจ็บสาหัส

สรุปง่ายๆ แอปพลิเคชันนี้มันสำคัญมากสำหรับการตรวจจับและป้องกันการล้ม มันให้ข้อมูลเชิงลึกที่มีค่ากับการเคลื่อนไหวของเรา และช่วยให้ทีมแพทย์หรือผู้ดูแลสามารถตอบสนองต่อเหตุการณ์ล้มได้อย่างรวดเร็วและมีประสิทธิภาพ

ภาพด้านล่างนี้แสดงสถาปัตยกรรมระบบทั้งหมดเลย เมื่อโมเดล TinyML ตรวจจับการล้มได้ ข้อมูลจะถูกส่งไปยังอุปกรณ์เกตเวย์ผ่าน BLE จากนั้นเกตเวย์ก็จะส่งข้อมูลต่อไปยังเซิร์ฟเวอร์คลาวด์ IoT ผ่านโปรโตคอล MQTT และสุดท้ายบุคลากรทางการแพทย์ก็จะได้รับสัญญาณเตือนผ่านเว็บแอปเพื่อดำเนินการต่อไป

โครงสร้างฮาร์ดแวร์ & ระบบดูแลสุขภาพ

• Nicla Sense ME: หรือที่เรียกว่า "สมองแบบพกพา" บอร์ดจิ๋วแต่แจ๋วอันนี้มาพร้อมกับเซ็นเซอร์ระดับอุตสาหกรรมจาก Bosch (Accelerometer, Gyroscope, Magnetometer) มันทำหน้าที่ประมวลผล AI บนตัวอุปกรณ์ทั้งหมดเลย รับรองความเร็วในการตรวจจับสูงสุด แต่กินแบตฯ น้อยสุด
• Raspberry Pi 3 (Gateway Node): หรือ "สะพานสื่อสาร" ทำหน้าที่เป็นฮับกลางในพื้นที่ รับผลการตรวจจับจากเสื้อแจ็กเก็ตผ่าน Bluetooth Low Energy (BLE) แล้วส่งต่อไปยังอินเทอร์เน็ตระดับโลก
• K-Way Smart Jacket: หรือ "โครงสร้างบ้าน" เสื้อแจ็กเก็ตถูกออกแบบมาเพื่อยึดเซ็นเซอร์ให้อยู่ในตำแหน่งที่ถูกต้องกับลำตัวผู้ใช้ รับประกันว่าข้อมูลแรงโน้มถ่วง (ค่าอ้างอิง 1g) จะคงที่เสมอ เพื่อการจำแนกกิจกรรมที่แม่นยำ
• HiveMQ MQTT Broker: หรือ "ผู้จัดส่ง IoT" บริการคลาวด์นี้จะรับสัญญาณฉุกเฉินจากเกตเวย์ แล้วส่งต่อไปยังเว็บแอปพลิเคชันหรืออุปกรณ์มือถือ เพื่อให้บุคลากรทางการแพทย์ได้ติดตาม

ชุดข้อมูลจากตัววัดความเร่งสำหรับโปรเจกต์นี้ ถูกเก็บมาจากกิจกรรม 3 แบบหลักๆ:

1. นั่งเฉยๆ (idle)
2. เดิน (walking)
3. ล้ม (falling)

โมเดล TinyML ที่เราสร้างขึ้นมา มีความแม่นยำถึง 99% เลยทีเดียว งานนี้จัดไปวัยรุ่น!

จากนั้นโมเดลก็จะถูกแปลงเป็นไลบรารี Arduino และอัปโหลดลงบน Nicla ในวิดีโอเดโมด้านล่างนี้ จะแสดงการทำงานของโมเดล TinyML สำหรับตรวจจับการล้ม โดยโมเดลถูกดีพลอยบนอุปกรณ์และทดสอบขณะที่ต่อสายอยู่

จากวิดีโอด้านบนจะเห็นว่าโมเดล TinyML ทำงานได้อย่างราบรื่น ถึงเวลาที่จะดีพลอยแอปพลิเคชันเต็มรูปแบบแล้ว! โหนดเซ็นเซอร์ ดังที่เห็นในรูปด้านล่าง ใช้พลังงานจากแบตเตอรี่ในการทำงาน และใช้บลูทูธในการส่งข้อมูล ห้ามช็อตนะตัวนี้!

สำหรับโปรเจคนี้ เราใช้ Visual Studio Code IDE กับ PlatformIO extension ในการเขียนเฟิร์มแวร์ให้กับเซ็นเซอร์ Nicla Sense ME ตัวนี้แหละ

โค้ดเฟิร์มแวร์หลักๆ จะอยู่ในไฟล์ main.cpp ตามรูปด้านล่างเลยจ้า

ตรรกะทางเทคโนโลยี และวงจรชีวิต "Inference-to-Alert"

ระบบนี้ทำงานผ่านกระบวนการ Sense-Classify-Publish ที่เข้มข้นแบบนี้เลย:

1. ช่วงเก็บข้อมูลดิบ (Raw Data Acquisition): Accelerometer บนบอร์ด Nicla จะคอยอ่านค่าจากแกน X, Y, Z อย่างต่อเนื่องด้วยอัตราสูง เพื่อเก็บ "โปรไฟล์แรง G" ของการเคลื่อนไหวผู้ใช้
2. เครื่องอนุมาน TinyML (TinyML Inference Engine): โมเดลที่เทรนไว้ล่วงหน้า (เทรนด้วยชุดข้อมูล "Idle," "Walking," และ "Falling") จะทำการจำแนกการเคลื่อนไหวแบบเรียลไทม์ ถ้าตรวจจับรูปแบบ "Fall" ได้ อุปกรณ์จะเข้าสู่ "โหมดแจ้งเตือน (Alert Mode)"
3. การส่งข้อมูลผ่าน BLE แบบประหยัดพลังงาน (Low-Power BLE Transmission): เพื่อประหยัดแบตเตอรี่ ผลลัพธ์จะถูกส่งออกไปก็ต่อเมื่อมีการเปลี่ยนแปลงกิจกรรมเท่านั้น โดยจะมี Python bridge บน Raspberry Pi คอยรับฟังการอัปเดตข้อมูลเฉพาะนี้
4. การส่งต่อข้อมูลผ่าน MQTT ระดับโลก (The Global MQTT Handshake): สคริปต์ Python จะส่งข้อความ "FALL DETECTED" ไปยังหัวข้อ (topic) MQTT ที่ปลอดภัย แดชบอร์ดที่เขียนด้วย JavaScript (ใช้ Paho-MQTT client) จะรีเฟรชทันทีเพื่อแจ้งเตือนผู้ให้บริการทางการแพทย์

ข้อมูลจากเซ็นเซอร์จะถูกส่งผ่านบลูทูธไปยังอุปกรณ์เกตเวย์ ซึ่งในที่นี้เราใช้ Raspberry Pi Model B 3 (RPi3) โดย RPi3 จะใช้โมดูลบลูทูธในตัวเพื่อรับข้อมูล และใช้โมดูล WiFi เพื่อส่งข้อมูลต่อไปอีกทอด สคริปต์ Python ที่รันบน RPi3 จะทำหน้าที่ตรวจจับและเชื่อมต่อกับเซ็นเซอร์ ดึงข้อมูลผลการอนุมาน และส่งต่อไปยัง MQTT broker ผ่านสัญญาณ WiFi โดยใช้ไลบรารี Paho-MQTT สำหรับ Python ส่วนเว็บแอปที่เขียนด้วย JavaScript จะรับข้อมูลจาก MQTT broker เพื่อสร้างการแจ้งเตือนและแสดงสถานะกิจกรรม โดยใช้ไลบรารี Paho-MQTT สำหรับ JavaScript

รูปต่อไปนี้แสดงสคริปต์ Python ที่รันอยู่บนอุปกรณ์เกตเวย์

สถานะของกิจกรรมจะถูกแสดงบนเว็บแอปพลิเคชัน ตามรูปด้านล่างนี้

วิดีโอสุดท้ายของโปรเจคจะแสดงให้เห็นว่าการล้มถูกตรวจจับและรายงานผลบนเว็บแอปพลิเคชันได้อย่างไร

ทำไมโปรเจคนี้ถึงสำคัญ?

การเข้าใจและเชี่ยวชาญ Human Activity Recognition (HAR) และ TinyML เป็นทักษะที่จำเป็นมากในวงการ วิศวกรรมชีวการแพทย์สมัยใหม่ มันสอนให้เราออกแบบ "อุปกรณ์สวมใส่อัจฉริยะ" ที่ไปไกลกว่าเครื่องนับก้าวธรรมดาๆ นอกเหนือจากการตรวจจับการล้มแล้ว หลักการเดียวกันนี้ยังถูกนำไปใช้ใน การวิเคราะห์สมรรถนะทางการกีฬา, การตรวจสอบความปลอดภัยในการทำงาน, และ อินเทอร์เฟซการโต้ตอบระหว่างมนุษย์กับคอมพิวเตอร์ การสร้างโปรเจคนี้พิสูจน์แล้วว่าน้องสามารถจัดการกับ "ฟูลสแต็ก" ของการพัฒนา IoT ได้ทั้งหมด ตั้งแต่ฟิสิกส์ของข้อมูลดิบและการเทรนนิวรัลเน็ตเวิร์ค ไปจนถึงระบบแจ้งเตือนบนคลาวด์ระดับโลกเลยทีเดียว เก่งจัดไปวัยรุ่น!

โปรเจค Edge Impulse เวอร์ชั่นสาธารณะจัดไปวัยรุ่น

*ประกาศ: เนื้อหาบางส่วนในโปรเจคนี้ถูกปรับแต่งด้วย ChatGPT นะจ๊ะ