چکیده

به جرأت می­توان ادعا کرد که عصر حاضر، عصر انفجار اطلاعات است و شاید بتوان زبان را بعنوان مهمترین سد و مانع در انتقال اطلاعات دانست. بنابراین ضرورت بکارگیری ماشین در پردازش و ترجمه­ی متون تبدیل به نیازی غیر قابل انکار شده است. اما مشکلاتی که بر سر راه مترجم­های ماشینی وجود دارد مانع شده تا این مهم از کیفیت و دقت کافی برخوردار باشد.

یکی از تأثیرگذارترین مسائل در دقت و کیفیت ترجمه­ی ماشینی، رفع ابهام معنایی است که دقت در آن باعث بالا رفتن دقت کل عمل ترجمه می­گردد. منظور از رفع ابهام معنایی انتخاب معنای مناسب کلمه با توجه به متن، برای کلماتی است که دارای چندین معنای متفاوت هستند. لذا در این پژوهش سعی شده است تا به بررسی روش­های مختلف و ایده­های متفاوت پرداخته و با ارائه­ شیوه­ای متفاوت در این راستا قدمی برداریم.

روش ارائه شده در این پایان نامه، روشی مبتنی بر دانش است که با بهره­ گیری از اطلاعات تکمیلی پیرامون کلمه­ی مبهم در متن و ارائه­ یک روش امتیازدهی، به رفع ابهام می ­پردازد. به این منظور از یک طرف با بکارگیری وردنت و منابع دیگری که به نوعی مکمل وردنت هستند، فهرستی از کلمات مرتبط با کلمه­ی مبهم تهیه کرده و از طرف دیگر کلمات همراه با کلمه­ی مبهم در متن را از پیکره­ی مورد نظر استخراج می­کنیم. سپس با بهره گرفتن از یک رابطه­ امتیازدهی، معنایی که دارای بیشترین امتیاز است و مرتبط­تر به نظر می­رسد را انتخاب می­کنیم. در نهایت، دقت روش ارائه شده را بررسی کرده و نتایج را با دقت سایر روش­ها مقایسه می­کنیم.

کلمات کلیدی: رفع ابهام معنایی، دیدگاه مبتنی بر دانش، وردنت، وردنت توسعه یافته، ترجمه­ی ماشینی

فهرست مطالب

 عنوان                         صفحه

فصل اول: مقدمه

1-1- مقدمه. 2

1-2- پردازش زبان­های طبیعی.. 3

1-3- ترجمه­ی ماشینی.. 8

1-3-1- روش­های ترجمه­ی ماشینی  10

1-3-1-1- روش­های مبتنی بر قانون.. 11

1-3-1-2- روش­های مبتنی بر پیکره 13

1-3-2- عوامل موثر بر کیفیت ترجمه  15

1-4- ساختار رساله. 17

فصل دوم: رفع ابهام معنایی

2-1- مقدمه. 20

2-2- انواع منابع دانش…. 22

2-2-1- منابع دانش ساختیافته  23

2-2-2- منابع دانش بدون ساختار 24

2-2-2-1 تقسیم­بندی دیگری از پیکره­ها 25

2-3- رویکردهای مختلف در رفع ابهام معنایی.. 26

2-3-1- دیدگاه مبتنی بر پیکره 26

2-3-1-1- سیستم­های نظارتی.. 26

2-3-1-2- سیستم­های غیرنظارتی.. 27

2-3-2- دیدگاه مبتنی بر دانش    28

2-3-3- دیدگاه ترکیبی و خلاقانه  30

2-4- فاکتورهای ارزیابی.. 30

2-4-1- پوشش    31

2-4-2- دقت   31

2-4-3- درستی و یادآوری  31

2-4-4- F-SCORE  32

فصل سوم: مروری بر کارهای مرتبط پیشین

3-1-  مقدمه. 34

3-2- روش­های نظارتی.. 35

3-3- روش­های غیرنظارتی.. 39

3-4- روش­های مبتنی بر دانش…. 41

3-5- روش­های ترکیبی و خلاقانه. 44

فصل چهارم: روش پیشنهادی

4-1- مقدمه. 51

4-2- معرفی ابزارها و منابع مورد استفاده 52

4-2-1- ریشه­یاب   52

4-2-2- برچسب گذار بخشی از گفتار 53

4-2-3- وردنت   54

4-2-4- وردنت توسعه یافته  57

4-2-5- دامنه­ی وردنت   59

4-3- مراحل روش پیشنهادی.. 59

4-3-1- استخراج کلمات همراه 60

4-3-1-1- پیش پردازش…. 61

4-3-2- استخراج فهرست لغات   61

4-3-2-1- کلمات مترادف و تعاریف… 62

4-3-2-2- کلیه­ی روابط معنایی.. 62

4-3-2-3- هایپرنیم در چند سطح.. 63

4-3-2-4- دامنه­ی کلمات… 64

4-3-2-5- امتیازدهی.. 64

فصل پنجم: پیاده­سازی و ارزیابی

5-1-  مقدمه. 67

5-2- نتایج.. 68

فصل ششم: جمع­بندی و نتیجه­گیری

6-1- جمع­بندی.. 71

6-2- کارهای آتی.. 72

فهرست منابع.. 74

1-1- مقدمه

تولید حجم عظیمی از مقالات و مستندات، جامعه­ علمی را بر آن داشت تا با بهره­ گیری از مزایا و توانایی­های روش­های خودکار جهت پردازش این متون، به حوزه­ای تحت عنوان پردازش زبان­های طبیعی[1] روی آورد. همچنین با توجه به وجود لیستی از معانی کلمات و عبارات یا همان دیکشنری و حتی اختصاص موسساتی جهت تعیین نحوه­ی استفاده از یک زبان در برخی از کشورها، اینطور به نظر می­رسد که امکان مکانیزه کردن فهم یک زبان توسط کامپیوتر وجود دارد [1].

مبحث پردازش زبان­های طبیعی خود زیرمجموعه ­ای از حوزه­ گسترده­ی هوش مصنوعی است که توجهات دانشمندان و محققان فراوانی را به خود معطوف کرده است. شاید به ظاهر زبان­هایی که ما در زندگی روزمره برای ایجاد ارتباط با دیگران به کار می­گیریم، ساده باشند. اما در حقیقت این زبان­های انسانی پیچیدگی­های فراوانی دارند که همین پیچیدگی­ها منجر به شکل­ گیری زیرشاخه­های متعددی همچون ترجمه­ی ماشینی[2]، بازیابی اطلاعات[3]، پردازش متون[4]، تشخیص صحبت[5]، تحلیل گرامری[6] ، رفع ابهام معنایی[7] و غیره در زمینه­ پردازش زبان­های طبیعی شده است.

در بین مباحث متفاوتی که در زمینه­ پردازش زبان­های طبیعی موجود است، برای اینجانب ابهام معنایی[8] جذابیت بیشتری داشته که در این پایان نامه به این موضوع پرداخته­ام. ابهام معنایی یکی از مباحث پیچیده و در عین حال پراهمیت است که در شاخه­هایی نظیر ترجمه­ی ماشینی و بازیابی اطلاعات نیز مطرح بوده و بعنوان جزء جدایی ناپذیری از اینگونه سیستم­ها دارای ارزش و حائز اهمیت است.

در واقع این مبحث نشأت گرفته از ابهامی است که در زبان­های طبیعی نهفته است؛ هرچند که وجود این ابهام­ها در اکثر مواقع از دید انسان پوشیده است. آنچه ابهام­های موجود بین سخنگویان بومی را مرتفع می­سازد توانش زبانی آنها، اطلاعات آنها در خصوص جهان پیرامون، طرح پرسش مجدد در صورت وجود یا احساس ابهام و بطور کلی مجموعه ­ای از اطلاعات زبانی و غیرزبانی است که سخنگویان بومی به آن مجهزند [40].

مسأله­ ابهام معنایی شامل تشخیص معنای صحیح یک کلمه با توجه به متنی است که در آن آمده است و در زمینه­ پردازش زبان­های طبیعی به آن رفع ابهام معنایی گفته می­شود. این مهم در بسیاری از شاخه­های پردازش زبان­های طبیعی نیز مطرح بوده و کاربرد دارد که در این میان اصلی­ترین و مشهودترین مورد استفاده­ی آن در شاخه­ی ترجمه­ی ماشینی است. لذا در این فصل ابتدا اشاره­ی کوتاهی به گستره­ی پردازش زبان­های طبیعی و زیرشاخه­های آن داشته، سپس مختصری به شرح مفهوم ترجمه­ی ماشینی و روش­های آن می­پردازیم.