(ممکن است هنگام انتقال از فایل اصلی به داخل سایت بعضی متون به هم بریزد یا بعضی نمادها و اشکال درج نشود ولی در فایل دانلودی همه چیز مرتب و کامل است)

فهرست مطالب:

1- مقدمه. 1

1-1- تعریف سیستم‏های نظارت چهره راننده 1

1-2- ضرورت سیستم‏های نظارت چهره راننده 2

1-3- چالش‏های اساسی در سیستم‏های نظارت چهره راننده 3

1-4- مفاهیم خستگی، خواب‏آلودگی و عدم‏تمرکز‏حواس… 4

1-4-1- خستگی و خواب‏آلودگی.. 4

1-4-2- عدم تمرکز حواس… 6

1-5- روش‏های تشخیص خستگی و عدم تمرکز حواس راننده 6

1-6- طرح کلی پایان‏ نامه. 7

2- مروری بر کارهای گذشته. 8

2-1- پیکربندی کلی سیستم‏های نظارت چهره راننده 9

2-1-1- تصویربرداری.. 9

2-1-2- سخت‏افزار و پردازنده 10

2-1-3- نرم‏افزار هوشمند. 11

2-2- آشکارسازی چهره 13

2-2-1- روش‏های مبتنی بر مدل رنگ… 13

2-2-2- روش‏های مبتنی بر ویژگی‏های شبه هار. 14

2-2-3- روش‏های مبتنی بر شبکه عصبی.. 14

2-3- آشکارسازی چشم. 15

2-3-1- روش‏های مبتنی بر نورپردازی و تصویربرداری در طیف مادون قرمز. 15

2-3-2- روش‏های مبتنی بر دوسطحی کردن تصویر. 18

2-3-3- روش‏های مبتنی بر پروجکشن.. 19

2-3-4- روش‏های مبتنی بر یادگیری.. 20

2-4- آشکارسازی سایر اجزای چهره 21

2-4-1- آشکارسازی دهان (لب) 21

2-4-2- آشکارسازی بینی.. 21

2-5- ردیابی چهره و اجزای آن. 22

2-5-1- تخمین حرکت… 23

2-5-2- تطابق.. 23

2-6- استخراج ویژگی‏های مربوط به کاهش هوشیاری.. 24

2-6-1- ویژگی‏های ناحیه چشم. 24

2-6-2- ویژگی‏های دهان. 30

2-6-3- ویژگی‏های سر. 30

2-7- تشخیص خستگی و عدم تمرکز حواس… 31

2-7-1- روش‏های مبتنی بر حد آستانه. 31

2-7-2- روش‏های مبتنی بر دانش… 32

2-7-3- روش‏های مبتنی بر آمار و احتمال. 33

2-8- سیستم‏های نظارت چهره راننده در خودروهای تجاری.. 34

3- سیستم پیشنهادی.. 35

3-1- پیکربندی کلی سیستم پیشنهادی.. 35

3-1-1- نورپردازی و تصویربرداری.. 36

3-1-2- سخت‏افزار و پردازنده 37

3-1-3- نرم‏افزار هوشمند. 37

3-2- آشکارسازی چهره 38

3-2-1- ویژگی‏های شبه هار. 39

3-2-2- انتخاب و تعیین اهمیت ویژگی‏ها برای تشکیل یک طبقه‏بندی‏کننده قوی.. 41

3-2-3- درخت تصمیم آبشاری تقویت‏شده 42

3-3- ردیابی چهره 44

3-3-1- پنجره جستجو. 45

3-3-2- معیار تطابق.. 46

3-4- استخراج ویژگی‏های مربوط به کاهش هوشیاری.. 47

3-4-1- ویژگی‏های ناحیه چشم. 47

3-4-2- ویژگی‏های ناحیه چهره و سر. 55

3-5- تشخیص کاهش هوشیاری.. 58

3-5-1- سیستم خبره فازی.. 58

3-5-2- تولید خروجی نهایی.. 64

4- نتایج آزمایش‏ها و ارزیابی سیستم. 69

4-1- نحوه آزمایش سیستم. 69

4-2- معیار‏های ارزیابی.. 72

4-3- آشکارسازی چهره 73

4-4- ردیابی چهره 75

4-5- استخراج ویژگی‏های ناحیه چشم. 77

4-6- استخراج ویژگی‏های ناحیه سر و چهره 82

4-7- تشخیص کاهش هوشیاری.. 86

4-8- ارزیابی کلی سیستم و الگوریتم‏ها 93

4-8-1- بررسی سرعت پردازش سیستم پیشنهادی.. 93

4-8-2- بررسی پیچیدگی محاسباتی الگوریتم‏ها 94

5- نتیجه‏گیری و پیشنهادات… 95

6- مراجع. 99

فهرست شکل‏ها

شکل ‏2‑1: فلوچارت کلی برای سیستم‏های نظارت چهره راننده 12

شکل ‏2‑2: نمونه‏هایی از ماسک‏های ویژگی برای استخراج ویژگی‏های شبه هار. 14

شکل ‏2‑3: درخت تصمیم آبشاری برای آشکارسازی چهره 14

شکل ‏2‑4: سیستم نورپردازی مادون قرمز شامل دو دسته LED به شکل دو حلقه کوچک و بزرگ [6] 16

شکل ‏2‑5: نمایش ایجاد پدیده مردمک روشن و مردمک تیره در نورپردازی مادون قرمز. 17

شکل ‏2‑6: آشکارسازی چشم بر اساس ویژگی مردمک تیره و روشن: شکل‏ها از سمت راست به ترتیب فریم زوج با تصویر مردمک روشن، فریم فرد با تصویر مردمک تیره و تفاضل فریم‏‏های زوج و فرد [6] 17

شکل ‏3‑1: محل قرارگیری دوربین در خودرو برای سیستم پیشنهادی.. 36

شکل ‏3‑2: فلوچارت بخش نرم‏افزار هوشمند در سیستم پیشنهادی.. 38

شکل ‏3‑3: نمونه‏هایی از ماسک‏های ویژگی برای آشکارسازی چهره [32] 39

شکل ‏3‑4: محاسبه مجموع پیکسل‏های بخشی از تصویر با بهره گرفتن از تصویر انتگرالی.. 40

شکل ‏3‑5: محاسبه یک نمونه ویژگی شبه هار بر اساس تصویر انتگرالی.. 41

شکل ‏3‑6: الگوریتم تشکیل یک طبقه‏بندی‏کننده قوی بر اساس چند ویژگی [33] 42

شکل ‏3‑7: درخت تصمیم آبشاری برای آشکارسازی چهره 43

شکل ‏3‑8: الگوریتم تشکیل یک درخت تصمیم آبشاری بر اساس چند طبقه‏بندی‏کننده قوی [33] 44

شکل ‏3‑9: نمایش چگونگی انجام جستجوی سه مرحله‏ای.. 46

شکل ‏3‑10: نمایش بازه تعریف ویژگی‏های درصد بسته بودن چشم (PERCLOS)، نرخ پلک زدن و فاصله بین پلک‏ها 51

شکل ‏3‑11: نمایش تاثیر پارامتر α در تغییر شکل تابع سیگموئید (β=0) 53

شکل ‏3‑12: نمایش تاثیر پارامتر β در تغییر شکل تابع سیگموئید (α=1) 54

شکل ‏3‑13: منحنی تغییرات فاصله بین پلک‏ها (ELDC) (محور عمودی) نسبت به تغییرات ضریب همبستگی HPO و HPLO (محور افقی) 55

شکل ‏3‑14: مدل کلی سیستم خبره فازی.. 59

شکل ‏3‑15: شکل توابع عضویت تعریف شده برای ورودی درصد بسته بودن چشم (PERCLOS) 60

شکل ‏3‑16: شکل توابع عضویت تعریف شده برای ورودی نرخ پلک زدن (CLOSNO) 60

شکل ‏3‑17: شکل توابع عضویت تعریف شده برای تغییرات فاصله بین پلک‏ها نسبت به حالت طبیعی (ELDC) 61

شکل ‏3‑18: شکل توابع عضویت تعریف شده برای میانگین چرخش سر (ROT) 61

شکل ‏3‑19: شکل توابع عضویت تعریف شده برای میزان خستگی (Fatigue) 61

شکل ‏3‑20: شکل توابع عضویت تعریف شده برای میزان عدم تمرکز حواس (Distraction)

 

62

شکل ‏3‑21: نمایش تغییرات پیوسته مقدار تغییرات فاصله بین پلک‏ها (ELDC) 65

شکل ‏3‑22: نمایش تغییرات پیوسته مقدار میانگین چرخش سر (ROT) 65

شکل ‏3‑23: نمایش تغییرات گسسته درصد بسته بودن چشم (PERCLOS) 66

شکل ‏3‑24: نمایش تغییرات گسسته نرخ پلک زدن (CLOSNO) 66

شکل ‏3‑25: نمایش تغییرات شکل خروجی نهایی سیستم با تغییر مقدار α در رابطه میانگین‏گیری مداوم. از بالا به پایین مقادیر α برابر است با صفر، 8/0 و 9/0  68

شکل ‏4‑1: نمونه‏هایی از تصاویر تهیه شده در محیط واقعی (داخل خودرو) برای آزمایش سیستم. 70

شکل ‏4‑2: نمونه‏هایی از تصاویر تهیه شده در محیط آزمایشگاهی برای آزمایش سیستم. 70

شکل ‏4‑3: نمونه‏هایی از تصاویر چهره مورد استفاده برای آموزش الگوریتم آشکارسازی چهره 74

شکل ‏4‑4: نمونه‏هایی از تصاویر غیرچهره مورد استفاده برای آموزش الگوریتم آشکارسازی چهره 74

شکل ‏4‑5: نمونه‏هایی از تصاویر چهره که آشکارسازی نشده‏اند. 74

شکل ‏4‑6: نمونه‏هایی از تصاویر غیرچهره که به اشتباه آشکارسازی شده‏اند. 74

شکل ‏4‑7: یکی از ماسک‏های مهم برای استخراج ویژگی در الگوریتم آشکارسازی چهره 75

شکل ‏4‑8: نمونه‏هایی از تصاویر چهره که به درستی آشکارسازی شده‏اند. 75

شکل ‏4‑9: نمونه‏هایی از خطای ردیابی با بهره گرفتن از روش جستجوی کامل و محاسبه ضریب همبستگی.. 76

شکل ‏4‑10: نمایش تغییر مکان چهره به دلیل تکان خوردن خودرو در دو فریم با فاصله زمانی یک ثانیه و بروز اشتباه در آشکارسازی بسته بودن چشم به دلیل عدم توانایی الگوریتم ردیابی در تعیین مکان دقیق چهره 78

شکل ‏4‑11: نمایش دو فریم از تصاویر چهره راننده در حالت چرت زدن. تصویر سمت راست حالت چشم باز راننده و تصویر سمت چپ حالت چشم بسته راننده است. در این حالت پلک زدن به آرامی و به طور نامحسوس انجام می‏شود. بنابراین نرخ عدم آشکارسازی بسته شدن چشم افزایش می‏یابد. 79

شکل ‏4‑12: تصاویر پلک زدن چشم در افرادی که عینک به چشم دارند. 79

شکل ‏4‑13: نمونه تصاویر تهیه شده از افرادی که عینک آفتابی به چشم دارند. 80

شکل ‏4‑14: نمونه فریم‏هایی از یک فیلم 9 دقیقه‏ای که در آن روند تغییرات فاصله بین پلک‏ها از حالت کاملا هوشیار به حالت خواب‏آلوده نشان داده شده است. تصاویر از بالا به پایین و از راست به چپ مربوط به زمان‏های دقیقه اول، دقیقه سوم، دقیقه پنجم، دقیقه هفتم، دقیقه هشتم و دقیقه نهم می‏باشد. 80

شکل ‏4‑15: نمودار تغییرات ELDC نسبت به زمان. 81

شکل ‏4‑16: نمایش وضعیت سر نسبت به محورهای مختصات… 83

شکل ‏4‑17: نمایش تغییرات میزان چرخش سر ® در یک فیلم دو دقیقه‏ای که در آن پنج بار چرخش رخ داده است… 84

شکل ‏4‑18: نمونه فریم‏هایی از یک فیلم دو دقیقه‏ای که در آن آشکارسازی چرخش سر مورد ارزیابی قرار گرفته است. تصویر راست بالا مربوط به حالت چهره بدون چرخش و سایر تصاویر مربوط به چرخش سر در جهت‏های مختلف می‏باشد. 84

شکل ‏4‑19: نمودار وقوع رخداد پلک زدن در طول زمان. 87

شکل ‏4‑20: نمودار تغییرات درصد بسته بودن چشم (PERCLOS) در طول زمان. 88

شکل ‏4‑21: نمودار تغییرات نرخ پلک زدن (CLOSNO) در طول زمان. 88

شکل ‏4‑22: نمودار تغییرات فاصله بین پلک‏ها (ELDC) در طول زمان. 89

شکل ‏4‑23: نمودار تغییرات میانگین چرخش سر (ROT) در طول زمان. 89

شکل ‏4‑24: میزان تخمین عدم تمرکز حواس راننده در طول زمان. 90

شکل ‏4‑25: میزان تخمین خستگی راننده در طول زمان. 90

شکل ‏4‑26: میانگین چرخش سر راننده در طول زمان. 91

شکل ‏4‑27: مقدار تخمین عدم تمرکز حواس راننده در طول زمان. 91

شکل ‏4‑28: نمودار پلک زدن یک فرد در فیلم سه دقیقه‏ای. در این فیلم فرد بعد از دقیقه یک، به دلیل مشغله ذهنی (عدم تمرکز حواس درونی) به یک نقطه خیره شده و پلک نمی‏زند. 92

شکل ‏4‑29: میزان عدم تمرکز حواس راننده در حالتی که وی به دلیل مشغله ذهنی دچار عدم تمرکز حواس درونی شده است… 93

فهرست جدول‏ها

جدول ‏3‑1: قوانین فازی تشخیص خستگی.. 63

جدول ‏3‑2: قوانین فازی تشخیص عدم تمرکز حواس… 64

جدول ‏4‑1: تعداد و مدت زمان فیلم‏های تهیه شده برای آزمایش سیستم به تفکیک شرایط محیط.. 71

جدول ‏4‑2: تعداد و مدت زمان فیلم‏های تهیه شده برای آزمایش سیستم به تفکیک جنسیت افراد 71

جدول ‏4‑3: تعداد و مدت زمان فیلم‏های تهیه شده برای آزمایش سیستم به تفکیک شرایط عینک داشتن.. 71

جدول ‏4‑4: بیان مفاهیم FPR، FNR، TPR و TNR در قالب ماتریس اغتشاش… 73

جدول ‏4‑5: ارزیابی الگوریتم آشکارسازی چهره 74

جدول ‏4‑6: ارزیابی الگوریتم ردیابی بر اساس نوع روش جستجو و نوع روش محاسبه میزان انطباق.. 76

جدول ‏4‑7: ارزیابی الگوریتم آشکارسازی بسته شدن چشم. 78

جدول ‏4‑8: مقایسه الگوریتم پیشنهادی با سایر الگوریتم‏های ارائه شده برای آشکارسازی بسته شدن چشم. 82

جدول ‏4‑9: توانایی سیستم پیشنهادی در آشکارسازی چرخش سر حول محورهای مختصات… 83

جدول ‏4‑10: ارزیابی الگوریتم آشکارسازی چرخش سر. 83

جدول ‏4‑11: مقایسه الگوریتم پیشنهادی با سایر الگوریتم‏های ارائه شده برای آشکارسازی چرخش سر. 86

جدول ‏4‑12: مقایسه حجم محاسباتی بخش‏های مختلف سیستم پیشنهادی.. 94

چکیده

هر ساله تصادفات رانندگی زیادی به دلیل خواب‏آلودگی و عدم تمرکز حواس راننده در سراسر دنیا رخ می‏دهد که خسارت‏های جانی و مالی فراوانی به همراه دارند. یکی از روش‏های تشخیص خستگی و عدم تمرکز حواس، استفاده از سیستم‏های نظارت چهره راننده است. سیستم‏های نظارت چهره راننده با دریافت تصاویر از دوربین و پردازش آنها، نشانه‏های خواب‏آلودگی و عدم تمرکز حواس را از چشم، سر و چهره استخراج می‏کنند. در این پایان‏ نامه یک سیستم نظارت چهره راننده طراحی شده است که با استخراج نشانه‏های خستگی و عدم تمرکز حواس از ناحیه چشم و چهره، کاهش هوشیاری راننده را تخمین می‏زند. در این سیستم چهار ویژگی شامل درصد بسته بودن چشم (PERCLOS)، نرخ