A Set Statistical features for Evaluating Interactive Question Answering
2019
ارزیابی نقش مهمی در سیستمهای پرسش و پاسخ تعاملی ایفا مینماید. روش استانداردی وجود ندارد که به ارزیابی کلی این سیستمها پرداخته باشد. مشکل اصلی در طراحی این سیستمها، عدم امکان پیشگویی بخش تعاملی است. به همین منظور، باید انسان در فرآیند ارزیابی شرکت داشته باشد. در این مقاله مجموعهای از ویژگیهای آماری جدید ساختهشده بر اساس n-گرمها و بزرگترین رشته مشترک برای ارزیابی سیستمهای پرسش و پاسخ تعاملی معرفیشده است. چهار سیستم پرسش و پاسخ تعاملی موجود برای ایجاد پایگاه دادهای از مکالمات ردوبدل شده بین کاربران و سیستمها استفاده گردید. خروجیهای تولیدشده، تعداد 540 نمونه بهعنوان داده مناسب در نظر گرفته شد تا مجموعه تست و آموزش بر اساس آن ایجاد گردد. سپس پیشپردازش بر روی متنها صورت پذیرفت و ویژگیهای تعریفشده از متن مکالمهها استخراج و بر اساس آن ماتریس ویژگی تشکیل گردید. درنهایت با استفاده از ماشین بردار پشتیبان به دستهبندی نظرات به دو گروه با امتیاز خوب و بد پرداخته شد. نتایج حاصل از ضریب همبستگی بین نظرات انسانی و نظرات حاصل از ویژگیهای پیشنهادی حاکی از دقت بالای مجموعه ویژگیهای ارائهشده، در ارزیابی سیستمهای پرسش و پاسخ تعاملی است.
Keywords:
- Correction
- Source
- Cite
- Save
- Machine Reading By IdeaReader
0
References
0
Citations
NaN
KQI