معیار ارزیابی روج
معیار ارزیابی روج (ROUGE) از جمله معروف ترین ابزار‌های ارزیابی در خلاصه‌سازی خودکار است.
از این معیار در کاربردهای پردازش زبان طبیعی و بازیابی اطلاعات استفاده شده است. ROUGE مخفف Recall-Oriented Understudy for Gisting Evaluation به "معنای ارزیابی مبتنی بر یادآوری برای خلاصه" است.[۱] این ابزار معیارهایی برای ارزیابی خلاصه‌سازی خودکار متن‌ها، مثل ترجمه ماشین را دارد. با مقایسه‌ی خلاصه‌های استخراجی (خلاصه‌های تولید شده به صورت خودکار) و خلاصه‌های چکیده‌ای (خلاصه‌های تولید شده توسط انسان) ارزیابی انجام می‌شود.
معیار ارزیابی ROUGE-N[ویرایش]
این معیار براساس مقایسه N تایی مشترک کلمات بین خلاصه استخراجی و خلاصهی چکیده‌ای می‌باشد. به عنوان مثال از ROUGE-1 و ROUGE-2 به ترتیب برای مقایسه‌ی یک‌تایی و دوتایی مشترک کلمات بین خلاصهی استخراجی و خلاصهی چکیده‌ای استفاده می‌شود.[۲]
منابع[ویرایش]
- ↑ Lin, Chin-Yew. 2004. ROUGE: a Package for Automatic Evaluation of Summaries. In Proceedings of the Workshop on Text Summarization Branches Out (WAS 2004), Barcelona, Spain, July 25 - 26, 2004.
- ↑ Lin, Chin-Yew and E.H. Hovy 2003. Automatic Evaluation of Summaries Using N-gram Co-occurrence Statistics. In Proceedings of 2003 Language Technology Conference (HLT-NAACL 2003), Edmonton, Canada, May 27 - June 1, 2003.