2 فصل دوم مرور کارهای گذشته…………………………….. 13

2.1‌   مدل سیستم عکسبرداری……………………………… 14

2‌.2‌   فراتفکیک پذیری در حوزه فرکانس……………………………….. 16

2‌.3‌  روش های حوزه فضایی……………………………… 18

2‌.3‌.1‌   درونیابی- بازسازی: روش های غیرتکراری………………………… 19

2‌.3‌.2‌   روش های آماری……………………………… 21

2.3.2.1‌  حداکثر احتمال……………………………… 23

2‌.3‌.2‌.2‌   حداکثر احتمال پسین………………………………. 25

2.3.2.3‌  بازنشانی- MAP توام…………………………….. 27

2‌.3‌.3‌   رویکرد طرح­ریزی بر روی مجموعه­ های محدب………………….. 28

2.3.4‌  رویکرد ترکیبی  ML-POCS……………………………..

3   فصل سوم ارتقاء وضوح تصاویر خاکستری………………………….. 31

3.1‌   ترکیب تصاویر کم وضوح مبتنی بر تخمین- M……………………..

3‌.1‌.1‌   چارچوب تخمین M……………………………….

3‌.1‌.2‌   ترکیب تصاویر مبتنی بر تخمین Half-Quadratic………………….

3‌.1‌.2‌.1‌   محاسبه پارامتر a مطابق با دقت هر فریم……………………. 42

3‌.1‌.3‌   تنظیم کننده ­ها……………………………. 45

3‌.2‌   روش پیشنهادی جهت ارتقاء وضوح……………………………… 49

3‌.3‌   آزمایش­ها……………………………. 50

3‌.3‌.1‌   بررسی روش­های متفاوت بازسازی و تاثیر تنظیم کننده ­ها …………..51

3‌.3‌.2‌   ارزیابی عملکرد الگوریتم پیشنهادی در مقابل خطای ثبت…………… 52

3‌.3‌.3‌   ارزیابی استحکام روش پیشنهادی در مقابل پرتی­ها ……………………54

3‌.3‌.4‌   پیاده­سازی روش پیشنهادی روی تصاویر واقعی……………………. 55

4   فصل چهارم ارتقاء وضوح تصاویر رنگی……………………………… 65

4‌.1‌   مروری بر مسائل فراتفکیک­پذیری در تصاویر رنگی و موزائیک زدایی تصویر….. 66

4‌.1‌.1‌   فراتفکیک پذیری در تصاویر رنگی……………………………… 66

4‌.1‌.2‌   موزائیک زدایی تصویر…………………………….. 67

4‌.1‌.3‌   ادغام فراتفکیک ­پذیری و موزائیک زدایی در یک فرآیند………… 73

4‌.2‌   مدل ریاضی و حل مسئله…………………………….. 75

4‌.2‌.1‌   مدل ریاضی سیستم عکسبرداری……………………………… 75

4‌.3‌   روش پیشنهادی جهت موزائیک زدایی چند فریمی………… 78

4‌.3‌.1‌   جمله وفاداری……………………………… 80

4‌.3‌.2‌   جمله­ جریمه­ روشنایی……………………………… 80

4‌.3‌.3‌   جمله­ جریمه­ رنگ………………………………. 81

4‌.3‌.4‌   جمله جریمه­ وابستگی­های رنگی……………………………… 82

4‌.4‌   تابع هزینه کلی……………………………… 83

4‌.5‌   آزمایش­ها …………………………….84

4‌.5‌.1‌   بررسی عملکرد الگوریتم پیشنهادی در برابر خطاهای ثبت……… 86

4‌.5‌.2‌   بررسی عملکرد الگوریتم پیشنهادی در برابر پرتی­ها………………. 87

5   فصل پنجم جمع­بندی و نتیجه­ گیری……………………………… 95

5‌.1‌   نتیجه­ گیری……………………………… 96

5‌.2‌   پیشنهادهایی برای کارهای آتی……………………………… 97

منابع و مراجع……………………………… 101

پیوست­ها……………………………. 115

چکیده:

در سال­های اخیر، پیشرفت­های گسترده­ای در زمینه­ سنسورهای تصویر و سیستم­های تصویربرداری دیجیتال صورت گرفته­است، اما هنوز محدودیت­های تئوری و عملی بر روی وضوح تصاویر گرفته شده با این دوربین­ها اثر می­گذارد. تکنیک­های فراتفکیک­پذیری (سوپر رزولوشن) به منظور غلبه بر این محدودیت­ها در سال­های اخیر گسترش یافته­اند. این تکنیک­ها با بهره گرفتن از یک و یا چند تصویر کم وضوح، تصویری با وضوح بالاتر ایجاد می­ کنند. کارهای اخیر در زمینه­ فراتفکیک­پذیری (که اغلب بر روی تصاویر خاکستری متمرکز شده­است)، به منظور کاهش پیچیدگی محاسباتی و افزایش مقاومت در برابر خطاهای مدل­سازی و نویز انجام شده­است. از سویی دیگر، روش­های موزائیک­ زدایی متعددی به منظور کاهش مصنوعات رنگی، که در نتیجه­ی استفاده از دوربین­های تک CCD است، مطرح شده­است.

در این پایان نامه ، با بهره گرفتن از روش­های آماری در پردازش سیگنال، چارچوب مقاومی را برای ترکیب تصاویر کم وضوح به منظور ایجاد تصویری با وضوح بالا پیشنهاد می­دهیم. در این روش، با بهره گرفتن از معیار مقاوم به خطا در تابع هدف و تطبیق فرآیند تخمین برای هر تصویر کم وضوح متناسب با دقت پارامترهای مدل و سطح نویز آن، بازسازی مقاومی را ایجاد نموده­ایم. همچنین با تعمیم این روش در حوزه­ رنگ، و ادغام فرآیند تفکیک­پذیری و دموزانیک تصویر، توانسته­ایم علاوه بر افزایش وضوح تصاویر رنگی، موزائیک زدایی تصویر را نیز به طور همزمان انجام دهیم. آزمایش­های انجام شده نیز عملکرد خوب الگوریتم پیشنهادی را در مقابل نویز و خطا تصدیق می­ کند.

فصل اول: مقدمه

مقدمه:

استفاده از فیلم­ها و تصاویری با قدرت تفکیک­پذیری بالا، در اکثر کاربردهای الکترونیکی مورد نیاز است. تمایل برای استفاده از تصاویری با وضوح بالا از دو زمینه اصلی نشات می­گیرد: بهبود اطلاعات تصویری برای تفسیر انسان؛ و کمک به درک دستگاه­های خودکار. وضوح تصویر، جزئیات موجود در تصویر را توصیف می­ کند. در وضوح بالاتر، جزئیات تصویر بیشتر است. وضوح یک تصویر دیجیتال را می‌توان در بسیاری از زمینه های مختلف طبقه بندی کرد: وضوح پیکسلی، وضوح فضایی، وضوح طیفی، وضوح زمانی و وضوح رادیومتری [1]. در این پایان نامه ، مباحث در حوزه­ وضوح فضایی مطرح می­شود.

وضوح فضایی: یک تصویر دیجیتال از عناصر تصویر کوچکی به نام پیکسل ساخته شده است.   وضوح فضایی، به تراکم پیکسل­ها در یک تصویر اشاره دارد و معیار سنجش آن پیکسل در واحد سطح است.

شکل 1-1 آزمون کلاسیک برای تعیین وضوح فضایی یک سیستم تصویربرداری را نشان می‌دهد. وضوح فضایی تصویر ابتدا توسط حسگرهای تصویربرداری و یا دستگاه اکتساب تصویر محدود می­شود. در دوربین دیجیتال، تصویربرداری بر روی فیلم صورت نمی‌گیرد بلکه توسط یک حسگر حساس (دستگاه جفت‌کننده­ بار (CCD) [1] یا نیم‌رسانای اکسید فلزی مکمل (CMOS) [2] ) انجام می‌پذیرد. این حسگرها معمولاً در یک آرایه دو بعدی، برای گرفتن سیگنال تصویر دو بعدی مرتب شده­اند. در وهله اول، اندازه حسگر و یا به طور معادل تعداد عناصر حسگر به ازای هر واحد سطح، وضوح فضایی تصویر را تعیین می­ کند. حسگرها با تراکم بالاتر، وضوح فضایی بیشتری را برای سیستم تصویربرداری ممکن می­سازد. سیستم تصویربرداری با آشکارسازهای ناکافی، تصاویری کم وضوح با اثرات بلوکی ایجاد می­ کند که ناشی از فرکانس پایین نمونه برداری فضایی است. تلاش‌های بسیاری جهت افزایش وضوح تصاویر دیجیتالی صورت گرفته­ است، که به دو بخش کلی نرم‌افزاری و سخت‌افزاری قابل تقسیم بندی می‌باشند.

 در بخش سخت‌افزاری با هرچه غنی­تر نمودن تعداد پیکسل‌های موجود بر روی حسگرهای دوربین‌های دیجیتالی در واحد سطح، می‌توان درجه تفکیک تصویر را افزایش داد. بعلاوه، با هرچه کوچکتر نمودن سلول‌های حسگرهای دوربین‌های دیجیتالی، مقدار نور مؤثر دریافت شده توسط هر سلول، کاهش می‌یابد؛ البته می‌توان با ایجاد شبکه‌ای از عدسی‌های محدب بر روی لایه فوقانی سلول‌های حسگر، مقدار نور مؤثر دریافتی توسط هر سلول حسگر را افرایش داد. لیکن به دلیل وجود تعداد بسیار زیاد سلول‌های حسگر، نویز ضربه ای ناشی از قطع و وصل جریان در درون این شبکه سلولی، همچنان وجود داشته و عامل مؤثری جهت کاهش کیفیت تصویر نهایی می‌گردد[2].

     در حالی که وضوح فضایی تصویر توسط حسگرهای تصویر محدود می­شود، جزئیات تصویر (باندهای فرکانس بالا) نیز به دلیل تاری لنز (مرتبط با تابع نقطه گستر حسگر)، اثرات انحراف لنز، انکسار روزنه و تاری نوری با توجه به حرکت، محدود می­شوند. بنابراین روش سخت‌افزاری جهت رسیدن به تصاویری با کیفیت و وضوح بالاتر، بسیار پرهزینه و عملاً تا حدی غیر ممکن می‌باشد و معمولاً نمی‌توان از حد معینی، بدلیل محدودیت‌های تکنیکی موجود در تکنولوژی ساخت مدارات مجتمع، فراتر رفت. علاوه بر هزینه، وضوح یک دوربین نظارتی نیز به علت سرعت دوربین و سخت افزار ذخیره سازی محدود شده است. در بعضی موارد دیگر مانند تصاویر ماهواره­ای، استفاده از حسگرهای وضوح بالا به دلیل محدودیت‌های فیزیکی آن دشوار است.

استفاده از روش نرم‌افزاری، جهت پذیرش خرابی­های تصویر و استفاده از پردازش سیگنال در پس پردازش عکس­های گرفته شده، به منظور تعامل بین هزینه­ های محاسباتی با هزینه­ های سخت افزاری، مطرح می‌گردد. روش­های نرم افزاری از لحاظ اقتصادی مقرون به صرفه می‌باشد و امکان تولید تصویری با وضوح بالاتر توسط همان دوربین‌های تصویربرداری دیجیتالی کم وضوح را فراهم می­آورد.

یکی از تکنیک‌های مطرح شده در بعد نرم‌افزاری، جهت افزایش کیفیت تصویر چه از لحاظ تعداد پیکسل‌ها و چه از لحاظ کاهش مقدار نویز، تکنیک فراتفکیک پذیری (SR)[1]می‌باشد. این تکنیک از لحاظ نامگذاری بدلیل آنکه قادر خواهیم بود از محدوده توانایی سیستم تصویر برداری فراتر رویم، فرا تفکیک پذیری نامیده می‌شود، و عمدتا به دو گروه روش­های مبتنی بر یادگیری و روش­های مبتنی بر بازسازی چند فریمی تقسیم می­شوند [4]. در روش­های مبتنی بر یادگیری، تنها از یک تصویر کم وضوح (LR)[2] برای ایجاد تصویری با وضوح بالا (HR)[3]  استفاده می­شود. این رویکرد، زیر گروهی از روش های یادگیری ماشین است. برخی از روش­های پیشنهادی در این حوزه در [10-4] آورده شده است. گروه بعدی، روش­های مبتنی بر بازسازی چندفریمی است که تمرکز ما در این پایان نامه بر روی این دسته از تکنیک­ها می­باشد.

در تکنیک‌های فراتفکیک­پذیری چند فریمی، تلفیق چندین تصویر با وضوح پائین­تر باعث تولید تصویر نهایی با وضوح بالاتر می‌گردد. این فرآیند موجب بازسازی اجزای فرکانس بالا و حذف خرابی­هایی که به علت تصویربرداری با دوربین کم وضوح ایجاد شده است، می­شود. ایده اصلی در تکنیک­های فراتفکیک پذیری چند فریمی، ترکیب اطلاعات غیر زائد موجود در فریم‌های کم وضوح برای تولید یک تصویر با وضوح بالا است [3]. روشی که به طور تنگاتنگ باSR  مرتبط است رویکرد درون‌یابی تصویر می­باشد، که می‌تواند برای افزایش اندازه تصویر مورد استفاده قرار گیرد. اما، از آنجا که هیچ اطلاعات اضافی ایجاد نمی­شود، کیفیت درون‌یابی تک تصویر با توجه به ماهیت بدحالت[4]  مسئله، بسیار محدود است، و اجزای فرکانسی از دست رفته را نمی ­تواند بازیابی کند. اما در زمینه SR، مشاهدات متعدد کم­ وضوح برای بازسازی در دسترس هستند. اطلاعات غیر زائد موجود در این تصاویرکم وضوح، به طور معمول توسط جابجایی­های در حد کسری از واحد پیکسل، که بین این تصاویر اتفاق می­افتد، ایجاد می­شود. این جابجایی­های در حد کسری از واحد پیکسل ممکن است به دلیل حرکات غیر کنترل شده بین سیستم تصویربرداری و صحنه رخ دهد، به عنوان مثال، حرکت شی؛ و یا بعلت حرکات کنترل شده، مانند سیستم تصویربرداری ماهواره ای در مدار زمین که با سرعت و مسیر از پیش تعریف شده در حال حرکت است.

هر فریم کم وضوح، مشاهده اعوجاجی از صحنه واقعی است. فراتفکیک­پذیری تنها در صورتی که حرکت در حد کسری از واحد پیکسل بین این فریم وضوح پایین وجود داشته باشد، امکان پذیر است. شکل 1-2  نمودار ساده­ای از توصیف ایده اولیه بازسازی SR را نشان می­دهد. در فرآیند تصویربرداری، دوربین چندین فریم LR را از صحنهHR  ضبط می­ کند. این تصاویر LR، نسبت به یکدیگر شیفت­های حد کسری از واحد پیکسل دارند و همچنین با نرخ پایین نمونه­برداری شده­اند. ساخت و ساز تکنیک­های SR چند فریمی، معکوس این فرآیند است؛ همترازی مشاهدات LR  در دقت کسری از پیکسل، و ترکیب آن‌ها به یک شبکه تصویر HR (درون‌یابی) که حاصل آن غلبه بر محدودیت­های تصویربرداری دوربین است.

اصول اولیه الگوریتم فراتفکیک­پذیری مبتنی بر حرکت را با آزمایش بسیار ساده­ای که در شکل 1-3 نشان داده شده، توضیح می­دهیم. مطابق شکل 1-3(الف)، صحنه متشکل از چهار پیکسل با وضوح بالا است. دوربین خیالی با حرکت کسری از پیکسل کنترل شده، متشکل از تنها یک پیکسل، قطاری از تصاویر را از این صحنه را ایجاد می­ کند. شکل­های 1-3(ب)-(ه)، چگونگی ایجاد این تصاویر را نشان می­دهد. البته هیچ کدام از این تصاویر با کیفیت پایین نمی‌تواند جزئیات تصویر زمینه­ای را نشان دهد. با فرض این که تابع نقطه گستر (PSF)[1] دوربین خیالی (که پدیده­ ماتی نوری در یک دوربین را مدل می­ کند) یک تابع خطی شناخته شده است، و سطح خاکستری تمام پیکسل­ های مرزی صفر است، معادلات زیر، تصاویر کم وضوح تار شده را با نوع وضوح بالا مربوط با می­سازد.

که  و ، تصاویر کم وضوح ، X مقادیر سطح خاکستری پیکسل در تصویر با وضوح بالا،H عناصرPSF  مشخص و v نویز تصادفی اضافه شده ازCCD  به فریم‌های کیفیت پایین است. در مواردی که نویز اضافه شده کوچک باشد، با حل مجموعه معادلات خطی فوق، می­توان مقادیر پیکسل وضوح بالا را بدست آورد. متأسفانه، همان‌طور که در بخش بعد خواهیم دید، فرض ساده مطرح شده در بالا به ندرت در شرایط واقعی معتبر خواهد بود.

فراتفکیک ­پذیری در بسیاری از زمینه‌ها مطرح می‌شود، مانند:

– ویدیو نظارتی [12،13] : بزرگ نمایی منطقه مورد نظر (ROI) در ویدئو برای درک انسان (به عنوان مثال دیدن پلاک خودرو در ویدئو)، افزایش وضوح تشخیص هدف اتوماتیک (به عنوان مثال سعی به تشخیص چهره جنایتکار) .

– سنجش از راه دور [14] : چند عکس از یک منطقه گرفته می‌شود، و یک تصویر با وضوح بهبود یافته را می‌توان یافت.

– تصویربرداری پزشکی (CT، MRI، اولتراسوند و غیره) [18-15] : چند تصویر با وضوح محدود را می‌توان به دست آورد، و روش SR می‌تواند به منظور افزایش وضوح استفاده شود.

– تبدیل استاندارد­های ویدئویی، به عنوان مثال تبدیل سیگنال ویدیویی NTSC به سیگنال HDTV.

با این حال، خواهیم دید که فراتفکیک­پذیری، مسئله­ای با محاسبات پیچیده­ و بدحالت است. تمامی این موارد فراتفکیک­پذیری را به یکی از جذاب‌ترین زمینه­ های تحقیقاتی در پردازش تصویر تبدیل کرده­است.

1-1- فراتفکیک پذیری به عنوان یک مسئله معکوس

الگوریتم‌های فراتفکیک پذیری در تلاشند تا تصویری با وضوح بالا را که توسط محدودیت‌های یک سیستم تصویربرداری نوری خراب شده است، بازسازی کنند. این نوع مسئله یک مثال از مسئله معکوسی است، که در آن منبع اطلاعات (تصویر با وضوح بالا) از داده­های مشاهده شده (وضوح تصویر کم و یا تصاویر) تخمین زده می­شود. به طور کلی، در