مقدمه ای بر دسته بندی متون

• وجود اصطلاحات
• استفاده از کلمات غیر استاندارد
• وجود مشابهات در جهان که ایجاد تناقض کند
• شکسته شدن لغات!!!

• تکه تکه کردن جملات


• نرمال کردن لغات

از جمله کارهایی که برای بهبود این روش انجام می شود: Backtrace و Weighted MED

• Its water is so transparent that + the
• P(the | it's water is so transparent)

• کاربردها:
• تشخیص صدا
  • P(I saw a van) >> P(eyes awe of an)


• تصحیح کردن تلفظ
  • P(about fifteen minutes from) > P(about fifteen minuets from)

آیا این ایمیل spam است ؟

نویسنده این نوشته ها خانم است یا آقا ؟

نظرات مثبت و منفی درباره محصولات ، فیلم ، موسیقی ؟

• به طور باورنکردنی نا امید کننده بود. -
• این بهترین فیلم کمدی است که تا به حال دیدم. +
• بازیگران ، بسیار هنرمندانه بازی کردند. +

مثال های دیگر از کاربرد دسته بندی متون

• تعیین نویسنده یک متن
• تعیین موضوع یک مقاله
• تعیین زبان یک نوشته یا مقاله
• sentiment Analysis

تعریف text classification

• ورودی
  • یک متن (d)
  • تعداد ثابتی کلاس C = { c1, c2, ... ,cj }
• خروجی
  • پیش بینی یک کلاس برای متن ورودی

روش های دسته بندی

• Hand-coded rules
  • یک سری قانون براساس کلمات یا بقیه ویژگی ها
  در تشخیص اسپم > کلماتی مثل : پول ، شما برنده شده اید و ...
  آدرس هایی که در لیست سیاه هستند.
  • دقت ممکن است بسیار بالا باشد.
  • ولی هزینه زیاد است.

روش های دسته بندی

• یادگیری با نظارت
  • ورودی
  یک متن (d)
  تعداد ثابتی کلاس C = { c1, c2, ... ,cj }
  m تا داده آموزش (d1, c1), ... ,(dm, cm)
  • خروجی
  الگوریتم یاد گرفته شده. (classifier)

Bag of words

Bag of words

قانون بیز

دسته بندی مقالات رویترز

• 9603 داده آموزش
• 3299 داده تست
• 118 دسته

جمع بندی کلی

• بسیار سریع است.
• فضای ذخیره سازی زیادی لازم ندارد.
• ولی اگر داده های آموزش کم باشد بهتر است از الگوریتم های دیگر استفاده کنیم.
• اگر داده های آموزش زیاد باشد فرقی نمی کند که از چه الگوریتمی استفاده کنیم.

مقایسه

دو دسته کلی:

• مدل ساده : فقط بودن یا نبودن برایمان مهم باشد
• مدل پیشرفته : رنک دادن به عنوان مثال از یک تا پنج