ชื่อโปรเจกต์: Jdetect AI Security System Powered by TensorFlow Lite

ความชาญฉลาดบน Edge: อัปเกรด IP Camera ด้วย AI

ระบบรักษาความปลอดภัยภายในบ้านแบบดั้งเดิมมักประสบปัญหา "False Alarms" ที่เกิดจากกิ่งไม้ที่เคลื่อนไหว เงา หรือสัตว์ Jdetect เป็นโซลูชันขับเคลื่อนด้วย AI ที่มีความซับซ้อน ซึ่งช่วยแก้ปัญหานี้โดยการเพิ่ม "สมอง" ให้กับ IP camera มาตรฐานใดๆ ด้วยการนำ Android TV Box ทั่วไปมาปรับใช้ใหม่ และใช้ประโยชน์จาก TensorFlow Lite, Jdetect ให้การตรวจจับมนุษย์ที่มีความแม่นยำสูงที่กรองสัญญาณรบกวนออกไป ทำให้มั่นใจว่าเมื่อคุณได้รับการแจ้งเตือน จะมีบุคคลอยู่ที่หน้าประตูจริงๆ

สถาปัตยกรรม TensorFlow Lite

เพื่อเรียกใช้การตรวจจับวัตถุที่ซับซ้อนบนฮาร์ดแวร์ที่จำกัดของ TV box ราคา 50 ดอลลาร์ โปรเจกต์นี้ใช้โมเดลที่ได้รับการปรับแต่งอย่างสูง:

• SSDLite (Single Shot Detector): โมเดลเฉพาะนี้ให้ความสมดุลที่ลงตัวระหว่างความแม่นยำและเวลาทำงาน บน Android TV box มาตรฐาน Jdetect สามารถทำการ inference ได้ในเวลาประมาณ 1.6 วินาที
• Mobile Deployment: แตกต่างจาก "TensorFlow Mobile" (ซึ่งช้ากว่าและเลิกใช้แล้ว) TensorFlow Lite ใช้การเร่งฮาร์ดแวร์เพื่อประมวลผลเฟรมในเครื่อง สิ่งนี้ช่วยลดความจำเป็นในการสมัครสมาชิกคลาวด์ที่มีราคาแพงและปกป้องความเป็นส่วนตัวของคุณโดยการเก็บสตรีมวิดีโอไว้ภายในเครือข่ายท้องถิ่นของคุณ
• COCO Dataset: ระบบใช้โมเดลที่ได้รับการฝึกฝนล่วงหน้าบน COCO dataset ซึ่งได้รับการปรับแต่งมาแล้วเพื่อจดจำ "บุคคล" เป็นหนึ่งในคลาสหลัก ทำให้สามารถทำงานได้ "Off the Shelf" โดยไม่จำเป็นต้องมีการฝึกฝนที่กำหนดเองสำหรับการรักษาความปลอดภัยพื้นฐาน

การรวมระบบผ่าน RTSP

Jdetect ทำหน้าที่เป็น "สมองรอง" สำหรับระบบกล้องวงจรปิดที่มีอยู่ของคุณ:

1. RTSP Stream Hook: Jdetect เชื่อมต่อกับกล้องจากผู้ผลิตรายใหญ่ เช่น Hikvision, Dahua หรือ Ezviz โดยใช้ Real-Time Stream Protocol (RTSP)
2. Sub-Stream Optimization: ด้วยการดึง "Sub-Stream" ที่มีความละเอียดต่ำกว่า (ปกติคือ 640x480) Jdetect จะช่วยลดความแออัดของเครือข่าย ในขณะที่ยังคงให้รายละเอียดที่เพียงพอสำหรับโมเดล TensorFlow ในการระบุเงารูปร่างมนุษย์ได้อย่างแม่นยำ
3. Triple-Service Logic: ซอฟต์แวร์ประกอบด้วยบริการพื้นหลังสามอย่าง ได้แก่ Jmotion (ตรวจจับการเคลื่อนไหว), Jperson (ตรวจสอบการเคลื่อนไหวเพื่อหาการมีอยู่ของมนุษย์) และ Jemail (เรียกการแจ้งเตือนทันที)

การ Arm และ Disarm อย่างชาญฉลาด

นอกเหนือจากการตรวจจับแล้ว Jdetect ยังรับรู้ถึงการมีอยู่ของคุณ โดยการตรวจสอบ Static IP addresses ของโทรศัพท์มือถือของคุณบนเครือข่าย WiFi ภายใน Jdetect สามารถ "Arm" ระบบโดยอัตโนมัติเมื่อคุณออกจากบ้าน และ "Disarm" เมื่อคุณกลับมา แนวทาง "Set and Forget" นี้ช่วยให้คุณไม่ถูกรบกวนจากการแจ้งเตือนในขณะที่คุณอยู่ที่บ้าน ในขณะเดียวกันก็ให้การป้องกันสูงสุดเมื่อบ้านว่างเปล่า

ระบบรักษาความปลอดภัย Jdetect AI ขับเคลื่อนโดย Tensorflow Lite

Jdetect เป็นระบบรักษาความปลอดภัย **AI** ที่ขับเคลื่อนโดย **Tensorflow Lite**

กล่องสีดำนี้ทำอะไรได้บ้าง?

เพื่อให้เข้าใจ Jdetect เรามาดูเรื่องราวของผู้ใช้งานกัน ประสบการณ์ทั่วไปเริ่มต้นจากการที่คุณตัดสินใจว่าต้องการระบบกล้องรักษาความปลอดภัยภายในบ้าน

เมื่อเลือก **IP security camera** มีหลายสิ่งหลายอย่างที่ต้องพิจารณา

รูปร่าง กล้องแบบ **Bullet** ใหญ่เกินไป แบบ **Dome** มีปัญหาเรื่องแสงสะท้อน ส่วนแบบ **Eyeball** เป็นตัวเลือกที่ดี

คุณสมบัติป้องกันสภาพอากาศเป็นสิ่งสำคัญ เนื่องจากกล้องจะถูกติดตั้งภายนอกอาคาร

มีตัวเลือกความละเอียดของภาพมากมายให้เลือก

เลนส์เป็นตัวกำหนดว่ากล้องสามารถมองเห็นได้กว้างและไกลแค่ไหน

มีกล้องหลายรุ่นที่มีฟังก์ชัน **WiFi** แต่ผมคิดว่าการติดตั้งแบบมีสายเป็นวิธีที่ดีที่สุดและไร้ปัญหา

แอปพลิเคชันบนมือถือเป็นสิ่งสำคัญ

นอกเหนือจากการเป็นแค่กล้องแล้ว กล้องบางรุ่นยังมีฟังก์ชันพิเศษ เช่น ระบบเสียงในตัว, ไซเรน และไฟฉาย

หากคุณค้นหาบน **Taobao**

หรือ **eBay**

คุณจะพบว่ากล้องที่ดีที่สุดมาจาก **Hikvision**

และ **Dahua**

ในกรณีของผม ผมเลือก **Ezviz** ซึ่งเป็นแบรนด์ย่อยของ **Hikvision** กล้องของพวกเขาไม่มีพิกเซลสูงมากนัก แต่มีคุณสมบัติพิเศษเพิ่มเติมคือเสียง 2 ทางและไซเรนในตัว ผมเลือกโมเดลพื้นฐานในราคาประมาณ 300 หยวน

พวกเขายังมีโมเดลที่มีฟังก์ชัน **AI** ซึ่งมีราคาสูงกว่ามาก

ความแตกต่างของราคาจะเห็นได้ชัดเจนยิ่งขึ้น โดยเฉพาะอย่างยิ่งเมื่อคุณซื้อหลายเครื่อง

ตอนนี้กล้องได้รับการติดตั้งแล้ว

นี่คือแอป **Ezviz** และทุกอย่างได้รับการตั้งค่าและทำงานได้ดี เราบล็อกภาพออกด้วยเหตุผลด้านความเป็นส่วนตัว

คุณต้องการให้ระบบกล้องรักษาความปลอดภัยทำงานแบบนี้ กล้องตรวจจับผู้บุกรุกและส่งการแจ้งเตือนไปยังเจ้าของ

เจ้าของได้รับการแจ้งเตือนและสามารถตอบสนองต่อสถานการณ์ได้ทันที

คุณสามารถตรวจสอบมุมมองกล้องแบบสดได้

พูดคุยกับบุคคลนั้น

เปิดเสียงไซเรน หรือสั่งงานระบบ **home automation** อื่นๆ

ทางเลือกสุดท้าย คุณจะโทรเรียกเจ้าหน้าที่บังคับใช้กฎหมาย

นี่เป็นแผนที่สมบูรณ์แบบ จนกระทั่งคุณพบกับปัญหา **false alarm**

หากคุณมีต้นไม้และเงาแดดอยู่ในมุมมองกล้อง เมื่อมีลมพัดเล็กน้อย มันจะทำให้เกิดการเคลื่อนไหวมากมายและทำให้ระบบตรวจจับการเคลื่อนไหวบนกล้องสับสนโดยสิ้นเชิง นี่คือจุดที่การติดตั้งภายนอกอาคารแตกต่างจากการติดตั้งภายในอาคาร ระบบตรวจจับการเคลื่อนไหวบนกล้องไม่รู้ว่าจะจัดการกับสิ่งเหล่านี้ได้อย่างไร

เมื่อคุณได้รับการแจ้งเตือน **false alarm** นับร้อยครั้ง ฟังก์ชันเตือนภัยก็จะไร้ประโยชน์ และโดยพื้นฐานแล้วมันจะทำให้วัตถุประสงค์ทั้งหมดของการมีระบบกล้องรักษาความปลอดภัยพังทลายลง

ณ จุดนี้ ผมอยากจะทิ้งมันไปแล้ว

แล้วโซลูชันก็เกิดขึ้น

Jdetect คือโซลูชัน

Jdetect เป็นระบบตรวจจับมนุษย์

Jdetect เพิ่ม **AI** ให้กับ **IP camera** และทำให้ระบบสมบูรณ์ ซึ่งทำให้กลับมามีประโยชน์อีกครั้ง

เมื่อพูดถึงการตรวจจับมนุษย์ เราต้องเริ่มต้นจากการตรวจจับวัตถุของ **Tensorflow**

**Tensorflow object detection** มีชุด **API**, โมเดลที่ได้รับการฝึกฝนล่วงหน้า และวิธีการสำหรับการนำไปใช้งานบนอุปกรณ์มือถือที่สมบูรณ์

บนเว็บไซต์ **Tensorflow github** คุณสามารถหาวิธีการใช้ **API** ได้

**Model zoo** มีโมเดลมากมายที่ได้รับการฝึกฝนบน **COCO dataset** แล้ว "บุคคล" เป็นหนึ่งใน 80 คลาสของ **COCO dataset** ดังนั้นเราจึงสามารถใช้โมเดลที่ได้รับการฝึกฝนล่วงหน้าเหล่านี้สำหรับการตรวจจับมนุษย์ได้ "off the shelf" ทันที

โมเดลที่แตกต่างกันมีความสมดุลที่แตกต่างกันระหว่างความแม่นยำและเวลาทำงาน

เรายังอ้างอิงถึงบทเรียน **Tensorflow for Poet** สำหรับวิธีการเรียกใช้ **Tensorflow inference** บนอุปกรณ์มือถือ มี 2 วิธี

**Tensorflow mobile** ซึ่งถูกระบุว่า "เลิกใช้แล้ว" (deprecated) แต่ยังคงใช้งานได้ในตอนนี้

โมเดลส่วนใหญ่จาก **model zoo** สามารถทำงานบน **Tensorflow mobile** ได้ แต่จะทำงานช้า

**Tensorflow lite** เป็นวิธีใหม่ และเป็นวิธีที่ปรับแต่งมาอย่างดีสำหรับการ **inference** บนอุปกรณ์มือถือ ซึ่งหมายความว่ามันเร็วกว่ามาก แต่ก็มีข้อจำกัดของตัวเอง การดำเนินการของ **Tensorflow** บางอย่างยังไม่ได้รับการสนับสนุนทั้งหมด ซึ่งหมายความว่าโมเดลทั้งหมดจาก **model zoo** จะไม่สามารถทำงานบน **Tensorflow lite** ได้ จากการทดสอบของเราจนถึงตอนนี้ **SSD** เป็นเพียงโมเดลเดียวที่ใช้งานได้

นี่คือวิธีการที่เราแปลงโมเดล **pb model** ที่ได้รับการฝึกฝนจาก **Tensorflow** ไปยังโมเดล **Tensorflow lite**

และนี่คือวิธีการที่เราใช้โมเดล **Tensorflow lite** บน **Android** สำหรับการ **object detection inference**

เราได้ลองและเปรียบเทียบโมเดลบางส่วนจาก **model zoo**

โมเดล **Faster RCNN** มีความแม่นยำที่ดี แต่สามารถทำงานได้บน **Tensorflow mobile** เท่านั้น และความเร็วต่ำ

เราได้ลองใช้โมเดล **SSD FPN** ซึ่งมีความแม่นยำสูงกว่า **Faster RCNN** อีก แต่ก็ยังช้ากว่าบน **Tensorflow mobile** ที่ประมาณ 30 วินาทีต่อเฟรม ซึ่งไม่สามารถใช้งานได้จริงสำหรับการตรวจจับมนุษย์แบบเรียลไทม์

จากนั้นเราได้ทดสอบโมเดล **SSDLite** ซึ่งทำงานบน **Tensorflow lite** ใช้เวลา 1.6 วินาที ซึ่งเราคิดว่าเป็นความสมดุลที่เหมาะสมระหว่างความแม่นยำและความเร็ว

หลังจากทดสอบและเปรียบเทียบทั้งหมดแล้ว โมเดล **SSDLite Tensorflow lite** คือโมเดลที่เราเลือกสำหรับแอปพลิเคชัน **Jdetect**