• صفحه اصلی
  • ارائه روشی مناسب برای دسته بندی نامه های الکترونیکی تبلیغاتی بر مبنای پروفایل کاربران

اشتراک گذاری

آدرس مقاله


کد مقاله : 202005071397 بازدید : 13665 صفحه: 21 - 36

نوع مقاله: پژوهشی

ارائه روشی مناسب برای دسته بندی نامه های الکترونیکی تبلیغاتی بر مبنای پروفایل کاربران

محورهای موضوعی : فناوری اطلاعات و ارتباطات

رحیم حضرتقلی زاده 1 * , محمد فتحیان 2

1 - دانشجو
2 -

تاریخ دریافت : 1392/09/25 تاریخ انتشار : 1398/08/17

کلید واژه: تجارت الکترونیکی, تبلیغات الکترونیکی, دسته بندی هرزنامه ها, داده کاوی, پروفایل,

چکیده مقاله :

به طور کلی، تعریف هرزنامه در ارتباط با رضایت یا عدم رضایت گیرنده است نه محتوای نامه الکترونیکی. بر طبق این تعریف، مشکلاتی در دسته بندی نامه های الکترونیکی در بازاریابی و تبلیغات مطرح می شود. برای مثال امکان دارد بعضی از نامه های الکترونیکی تبلیغاتی، برای عده ای از کاربران هرزنامه و برای عده ای دیگر هرزنامه نباشد. برای مقابله با این مشکل با توجه به پروفایل و رفتار کاربران، ضد هرزنامه های شخصی طراحی می شود .به طور عادی برای دسته بندی هرزنامه‌ها، روشهای یادگیری ماشینی با دقت خوب به کار می رود. اما در هر حال یک روش منحصر به فرد موفق بر مبنای دیدگاه تجارت الکترونیک وجود ندارد. در این مقاله ابتدا پروفایل جدیدی برای شبیه سازی بهتر رفتار کاربران ، تهیه می شود .سپس این پروفایل همراه با نامه های الکترونیکی به دانشجویان ارائه شده و پاسخ آنها جمع آوری می گردد . در ادامه برای دسته بندی نامه های الکترونیکی، روشهای مشهور به ازای مجموعه داده های مختلف آزمایش می شود .سرانجام ، با مقایسه معیارهای ارزیابی داده کاوی ،شبکه عصبی به عنوان بهترین روش با دقت بالا ، تعیین می گردد.

چکیده انگلیسی:

In general, Spam is related to satisfy or not satisfy the client and isn’t related to the content of the client’s email. According to this definition, problems arise in the field of marketing and advertising for example, it is possible that some of the advertising emails become spam for some users, and not spam for others. To deal with this problem, many researchers design an anti-spam based on personal profiles. Normally machine learning methods for spam classification with good accuracy are used. However, there isn’t a unique successful way based on Electronic Commerce approach. In this paper, at first were prepared a new profile that can lead to better simulations of user’s behavior. Then we gave this profile with advertising emails to students and collected their answers. In continue, were examined famous methods for email classification. Finally, comparing different methods by criteria of data mining standards, it can be shown that neural network method has the best accuracy for various data sets.

منابع و مأخذ:


متن کامل:


 

فصلنامه علمي- پژوهشي  

فناوري اطلاعات و ارتباطات ایران

سال هشتم، شماره‌هاي 27 و 28، بهار و تابستان 1395

صص: 21- 36 

E:\E Drive\logo\iicta Logo0.JPG 

 

ارائه روشی مناسب برای دسته­بندی نامه­های الکترونیکی تبلیغاتی بر مبنای پروفایل کاربران

*محمد فتحیان **رحیم حضرتقلی­زاده

* استاد، دانشکده مهندسی صنایع، دانشگاه علم و صنعت ایران                                                                                   ** کارشناسی ارشد، مهندسی فناوری اطلاعان، دانشگاه علم و صنعت ایران                                                                                                                   تاریخ دریافت:25/09/92                    تاریخ پذیرش: 18/03/95

چکیده

به طور کلی،  تعریف هرزنامه در ارتباط با رضايت يا عدم رضايت گیرنده است نه محتوای نامه الکترونیکی. بر طبق این تعريف، مشکلاتي در دسته­بندی نامه­های الکترونیکی در بازاریابی و تبلیغات مطرح مي­شود. برای مثال امکان دارد بعضي از نامه­هاي الکترونيکي تبلیغاتی، براي عده­اي از کاربران هرزنامه و براي عده­اي ديگر هرزنامه نباشد. براي مقابله با اين مشکل با توجه به پروفایل و رفتار کاربران، ضد هرزنامه­هاي شخصي طراحی مي­شود. به طور عادي براي دسته­بندی هرزنامه‌ها، روشهاي يادگيري ماشيني با دقت خوب به کار می­رود. اما در هر حال يک روش منحصر به فرد موفق بر مبنای دیدگاه تجارت الکترونیک وجود ندارد. در این مقاله ابتدا پروفایل جدیدی برای شبیه­سازی بهتر رفتار کاربران، تهیه می­شود .سپس این پروفایل همراه با نامه­های الکترونیکی به دانشجویان ارائه شده و پاسخ آنها جمع­آوری می­گردد. در ادامه برای دسته­بندی نامه­های الکترونیکی، روشهای مشهور به ازای مجموعه داده­های مختلف آزمایش می­شود .سرانجام، با مقایسه معیارهای ارزیابی داده کاوی، شبکه عصبی به عنوان بهترین روش با دقت بالا، تعیین می­گردد.

واژه­های کلیدی: تجارت­الکترونیکی، تبلیغات الکترونیکی، دسته­بندی هرزنامه­ها، داده­کاوی، پروفایل

 

 

1.       مقدمه

امروزه نامه­هاي الکترونيکي1 يکي از راههاي عمومي، تاثيرگذار و با هزينه پايين در سطح اينترنت مي­باشد که با سرعت زيادي در حال رشد است. يکي از زمينه­هايي که به وفور از نامه­هاي الکترونيکي استفاده مي­شود، حوزه تجارت الکترونيک2 مخصوصا بازاريابي و تبليغات اينترنتي است. اين نوع بازاريابي و تبليغات با عنوان "بازاريابي از طريق نامه­هاي الکترونيکي3" نيز مشهور است.

نویسنده عهد­دار مکاتبات: رحیم حضرتقلی­زاده h.golizadeh@gmail.com

همزمان با رشد استفاده از نامه­الکترونيکي سوء­استفاده و فريبکاري نيز به تبع آن بالا مي­رود. يکي از نمونه­هاي
سوء­استفاده از اين روش ارتباطي، ارسال کورکورانه نامه­هاي الکترونيکي ناخواسته و بي­دعوت به نام هرزنامه4 
مي­باشد[1,2,6,12,20,21,23,24].

تعاريف زيادي براي اسپم يا هرزنامه و چيستي و تفاوت آن با نامه­هاي معتبر5 وجود دارد. کوتاهترين تعريف متداول از بين تعاريف موجود در مورد هرزنامه، آنرا به عنوان يک نامه الکترونيکي ناخواسته6 بيان مي­کند. با اين حال تعاريف مشابه زيادي نيز وجود دارد که بيان مي­کند، هرزنامه يک نامه الکترونيکي ناخواسته است که به طور نا مشخص و مستقيم يا غيرمستقيم توسط فردي که نسبتي با گيرنده ندارد، فرستاده شده است. همان­طور که مي­توان ديد نقطه اشتراک براي تعريف هرزنامه ناخواسته بودن آن است. بر طبق تعريف مورد توافق، هرزنامه درباره رضايت يا عدم رضايت است نه محتوا [1,4,17,23] . هرزنامه­ها مشکلات متعددي را به بار مي­آورند که برخي از آنها مستقيما باعث ضررهاي اقتصادي مي­شوند، مانند ايجاد ترافيک و اتلاف پهناي باند و برخي ديگر زمان زيادي را تلف مي­کنند تا کاربران نامه­هاي زايد را جداسازي کنند. علاوه بر موارد بيان شده، بعضي از هرزنامه­ها باعث آزار روحي و ايجاد عدم امنيت و اطمينان مي­شوند و سرانجام باعث ايجاد مشکلات قانوني مانند تبليغات هرمي وکلاهبرداري­هاي اقتصادي 
مي­گردند [2,3,4,7,12,24].

براي رفع اين مشکلات، روشهای زيادي را در مقالات مختلف مطرح کرده­اند، تا با بالا بردن درصد تخمين و دقت، باري از اين هزينه­ها کم کنند و آرامش و اطمينان را براي کاربران در تمامي حوزه­ها بوجود بياورند. با این همه به نظر می­رسد هنوز هم مشکلاتی در این راه وجود داشته باشد. یکی از این مشکلات وجود خطای زیاد در روشهای مطرح شده می­باشد، که می­تواند عامل تاثیرگذار در تجارت الکترونیک باشد. اگر در اينجا دسته هرزنامه­ها را به عنوان كلاس مثبت و دسته نامه­هاي الکترونيکي معتبر را به عنوان كلاس منفي در نظر بگيريم، آنگاه خطای  FP7 شامل نامه­های الکترونیکی 
مي­شود كه به اشتباه جزو هرزنامه­ها دسته­بندي مي­گردند. خطای FN8   هم شامل نامه های الکترونیکی مي­شود كه به اشتباه جزو نامه­های الکترونیکی معتبر دسته­بندي مي­شود. این خطاها در زمینه بازاریابی و تبلیغات از طریق نامه­های الکترونیکی مشهودتر است. در مواجهه با این مشکلات بعضی از شرکتها اقدام به طراحی ضد هرزنامه سازگار با زمینه تبلیغات می­کنند [5,23].

 از آنجاييکه بيشتر هرزنامه­ها در حوزه بازاريابي و نامه­هاي الکترونيکي مطرح می­شود لذا لازم است، که در طراحي ضد هرزنامه­ها9 ديد صحيحي نسبت به حوزه تجارت الکترونيک داشته باشيم. در صورت نداشتن چنين ديدي در طراحي، ضد هرزنامه­ها با سرويس­دهنده­هاي نامه­هاي الکترونيکي تبليغاتي و بازاريابي هماهنگ نخواهند بود لذا درصد زيادي از نامه­هاي الکترونيکي منتشر شده از اين سرويس­دهنده­ها به جاي هرزنامه فيلتر10 شده و هزينه زيادي را به اين سرويس­دهنده­ها تحميل مي­کنند. در صورتي که اگر اين ضد هرزنامه­ها براي ديدگاه خاص مانند تبليغات از طريق
نامه­هاي الکترونيکي طراحي شوند و اهداف مشخصي را دنبال کنند بهتر عمل خواهند کرد[4,7] .

مشکل مهم دیگر که بيشتر در حيطه تجارت الکترونيک و تبليغات از طريق نامه­هاي الکترونيکي مطرح مي­شود، در نظر گرفتن مطلق يک نامه الکترونيکي خاص به عنوان هرزنامه يا نامه معتبر ­اشد. اين در حالي است که امکان دارد بعضي از نامه­هاي الکترونيکي براي عده­اي از کاربران هرزنامه و براي عده­اي ديگر هرزنامه نباشد. براي مثال در تبليغات از طريق نامه­هاي الکترونيکي امکان دارد خريد اتومبيل براي کسي که قصد خريد اتومبيل دارد هرزنامه حساب نشود در صورتيکه براي بعضي ديگر که قصد خريد ندارند هرزنامه حساب شود. پس در اين شرايط دسته­بندي نامه­هاي الکترونيکي دچار مشکل مي­شود که اين عدم تخمين به صورت مطلق، در نامه­هاي الکترونيکي تبليغاتي فراوان وجود دارد، که به آنها نامه­هاي الکترونيکي خاکستري11 نيز
مي­گويند. براي مقابله با اين مشکل با توجه به رفتار کاربران اقدام به ساخت ضدهرزنامه­هاي شخصي12 مي­کنند که در مقالات متعددي در مورد روشهاي مختلف بحث شده است[2,4,5,20,21]

در این مقاله ما ابتدا پروفایل13 جدیدی را که می­تواند به شبیه­سازی بهتر رفتار کاربران منجر شود تهیه می­کنیم. سپس این پروفایل را همراه با نامه­های الکترونیکی تبلیغاتی ساختگی در حیطه کتابفروشی بر خط به دانشجویان ارائه کرده و پاسخ آنها را جمع­آوری می­کنیم. در ادامه روشهای موجود و مشهور برای دسته­بندی نامه­های الکترونیکی را مورد آزمایش و مقایسه قرار می­دهیم . اجرا و پیاده­سازی روشهای انتخاب شده در نرم­افزار کلمنتاین14 انجام
می­پذیرد. در پایان به تجزیه و تحلیل هر یک از این روشها پرداخته و روش مناسب را برای زمینه بازاریابی و
شخصی­سازی انتخاب می­کنیم.

سازماندهی بخشهای بعدی به این شکل می­باشد : در بخش 2 مقاله، به بررسی کارهای مرتبط و دسته­بندی آنها
می­پردازیم سپس در بخش 3 به بیان طراحی پروفایل و تولید داده­ها و مشخصات جامعه آماری آن می­پردازیم. در ادامه در بخش 4 روش پیشنهادی خود را مطرح می­کنیم. در بخشهای باقیمانده به ارزیابی نتایج و جمع­بندی و ارائه پشنهادات برای کارهای آتی می­پردازیم.

2.       مروری بر ادبیات موضوع

به طور کلی براي دسته بندی و پیش بینی هرزنامه ها، تکنيک ها و روشهاي زيادي مطرح شده است. دسته بندی نامه‌هاي الکترونيکي ، يک برنامه کاربردي است که بر اساس تابع (1) پياده‌سازي مي‌شود :

 

 

 

(1)                             img0

در اين تابعm نامه الکترونيکي است که بايد دسته‌بندي گردد. بردار پارامتر θ حاصل آموزش دسته بند با استفاده از يک مجموعه داده است که قبلاً جمع‌آوري شده است که مي‌توان آنرا به صورت فرمول(2) بيان کرد :

img0 

در اين فرمول mها نامه‌هاي الکترونيکي هستند که قبلا جمع‌آوري شده‌اند و y­ها نيز برچسب متناظر آنها مي‌باشد[1]. عمده کارهای انجام شده در این زمینه را
می­توان به صورت جدول 1 دسته­بندی کرد. در این جدول بعضی از روشهای کلی توضیح داده شده است. روشهای بیان شده در این جدول مخصوصاً روشهای یادگیری ماشینی15 از نظر تخمین و دقت پیش­بینی نتیجه مطلوبی را در
برداشته­اند. با این همه، برای مقابله با مشکلات اصلی بیان شده لازم است که ضد هرزنامه­های شخصی در حوزه بازاریابی و تبلیغات و سازگار با این حوزه تولید شود. در زمینه تولید ضد هرزنامه­های شخصی شده بر مبنای پروفایل و رفتار کاربران، بعضی از کارهای انجام شده را می­توان به صورت زیر بیان کرد هرچند این تحقیقات نیز به صورت تخصصی به حوزه بازاریابی و تبلیغات از طریق نامه­های الکترونیکی نپرداخته است.

سوسا و همکاران16یک روش تولید ضد هرزنامه شخصی شده همکارانه17 را بررسی کرده­اند. در این روش ابتدا پروفایل کاربران دسته­بندی می­شود سپس بر مبنای گزاراشات رسیده از هر گروه دسته­بندی نامه­های الکترونیکی انجام
می­پذیرد. بدیهی است، در این روش نیاز به انتقال اطلاعات مابین سرویس­دهنده­های مختلف می­باشد که این انتقال از طریق معماری p2p18 انجام می­پذیرد. این ضد هرزنامه به صورت غیر متمرکز بوده که در سرویس دهنده­های نامه­های الکترونیکی اجرا می­شود. از معایب این روش می­توان به نیاز به امنیت در حین انتقال اطلاعات، نیاز به پهنای باند بیشتر برای انتقال اطلاعات و سختی مدیریت غیر متمرکز را نام برد[3,7].

در مقابل راوی و همکاران 19، روش متمرکز دیگری را بیان کردند که در این روش در دو مرحله با استفاده از روش­های شبکه عصبی و در سرور20 نامه­های الکترونیکی طرف فرستنده اجرا می­شود. این عمل از اتلاف پهنای باند در ازای پیشگیری ازانتقال هرزنامه­ها جلوگیری می­کند و به شکل کاملا منطبق با افکار انسان شکل گرفته است. اما باز هم دارای معایبی از جمله متکی بر رفتار اشخاص خاص به خاطر عدم دستیابی به کل جامعه آماری دارد[22].

از دیگر روشهای اجرا شده استفاده از درخت تصمیم مانند C4.5 می­باشد. در این روش ییح و همکاران 21، پروفایل کاربران را همراه با نامه­های الکترونیکی پاسخ داده شده جمع­آوری کرده­اند. سپس از طریق روش فرکانس معکوس سند (TF-IDF22) به استخراج و انتخاب ویژگیهای مناسب پرداخته است. در حقیقت این مرحله توکن کردن نام دارد که در آن متن نامه­های الکترونیکی به ریشه کلمات اصلی تبدیل شده و کلمات پرکاربرد به صورت یک مقدار باینری در نظر گرفته می­شود. در صورت وجود این کلمه در یک متن مقدار آن یک و در غیر اینصورت مقدار آن برابر صفر در نظر گرفته می­شود. بعد از این مرحله با استفاده از درخت تصمیم به تولید قوانین می­پردازند. این قوانین تولید شده از جهت دقت 23پیش­بینی، مورد بررسی قرار گرفته و قوانین با دقت بالا انتخاب می­شود[13].

یکی دیگر از روشهای مشابه در این زمینه استفاده از تولید داده­های ساختگی برای نامه­های الکترونیکی توسط کیم و همکاران24می­باشد. در این تحقیق به خاطر نیاز به پروفایل کاربران همراه با پاسخ نامه­های الکترونیکی تبلیغاتی، لازم بود به تولید ساختگی این موارد در قالب پرسشنامه پرداخته شود. در این تحقیق از درخت تصمیم همراه با روشهای معنایی مانند روش قبلی استفاده شده است. تفاوت این تحقیق با روش قبلی در مرحله استخراج و انتخاب ویژگیها می­باشد. این روش در مقایسه با روش قبلی به خاطر در نظر گرفتن شخصی­سازی و خصوصیات نامه­های الکترونیکی خاکستری می­تواند نمونه مناسبی برای حوزه تجارت الکترونیک باشد. از جمله معایب این روش را می­توان عدم تطابق بین پروفایل و محتوای نامه­های الکترونیکی ساختگی با جامعه آماری پاسخ­دهندگان بیان کرد. در این تحقیق تنها به برچسب زدن نامه­های الکترونیکی تبلیغاتی در 10 دسته توسط کارشناس انسانی25 و ارائه آن به دانشجویان برای پاسخگویی پرداخته­اند. به نظر می­رسد که این دسته­بندی جزئی بوده و جامعه آماری پاسخ­دهنده نتواند جواب دقیق و واقعی را ارائه کند[5].

 تغييرات نتايج پيش­بيني در بين روشهای مرسوم تا حدودي زياد است. اين نتيجه به خاطر انتخاب ويژگيهاي متفاوت روشها اتفاق مي­افتد. هر چند عمل مقایسه با دیگر کارهای مشابه به خاطر متفاوت بودن مجموعه داده­ها و روش پیشنهادی نمی­تواند مبنایی برای ارزیابی دقیق باشد اما در جدول 2 به مقایسه اجمالی می­پردازیم. اگر چه استفاده از تمامی محتوای نامه­های الکترونیکی می­تواند دقت نتایج را افزایش دهد اما به خاطر درگیر بودن با مجموعه بزرگی از ویژگیهای استخراج شده، معمولا نیاز به انتخاب ویژگیهای مناسب می­باشد. این حالت به ازای زمان و فضای مصرفی زیاد می­تواند دقت پیش­بینی را تا حدودی بهبود بخشد.

در هر حال روشهای مختلفی برای شخصی­سازی ضد هرزنامه­ها وجود دارد که در آن از الگوریتم­های یادگیری ماشینی و داده­کاوی مانند شبکه بیزین26، شبکه­های عصبی27، درخت تصمیم28 و SVM29 استفاده می­کنند [1,5,6,8,12,16,17,19,24]. با این همه هیچ یک از این موارد به طور تخصصی به امر تولید ضد هرزنامه­های شخصی­سازی شده با نگرش نامه­های الکترونیکی خاکستری، بازاریابی و تبلیغات نپرداخته است. به خاطر اهمیت این حوزه و اینکه اکثر نامه­های الکترونیکی امروزه را نامه­های الکترونیکی خاکستری مخصوصا تبلیغاتی تشکیل می­دهد نیاز به تولید ضد هرزنامه ساز گار با این حوزه احساس
می­شود تا از این رهگذر نامه­های الکترونیکی بازاریابی در سرویس­دهنده­های پست الکترونیکی هدف به عنوان هرزنامه فیلتر نشوند. از بررسی روشهای بیان شده به این نتیجه
می­رسیم که برای طراحی و تولید ضد هرزنامه­ها 4 گام اصـلی ضـروری مـی­باشد که در جـدول 3 مـی­توان مشاهده

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

کرد[12]:

3.       استخراج ویژگی­ها و آماده­سازی داده­ها

براي انجام اين تحقيق لازم است که در ابتدا نامه­هاي الکترونيکي همراه با برچسب (هرز يا معتبر بودن که از طرف کاربران نسبت داده شده است) و پروفايل کاربران جمع­آوري شود. اگر چه مجموعه نامه­هاي الکترونيکي با برچسب قابل اطمينان براي آزمون و آزمايش در شرکتهاي تحقيقاتي موجود مي­باشد، اما اين مجموعه نامه­هاي الکترونيکي يا فاقد پروفايل کاربران مي­باشند و يا در زمينه تبليغات الکترونيکي نمي­باشند. لذا از آنجايي که اين اطلاعات در اکثر اوقات در دسترس نمي­باشد بايد مانند مقالات موجود در اين زمينه به تولید آن بپردازیم.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

جدول 1. انواع روشهای مهم برخورد با هرزنامه­ها

 

 

روشهاي غير فيلتري

(پیشگیری از ایجاد و انتقال هرزنامه)

روش اقتصادي

هر شخص براي فرستادن ايميل بايستي هزينه­اي را بپردازد که براي هرزنامه­نويسان اين هزينه قابل توجه است [1].

روش قانونگذاري

بعضي از قانونگذاران براي حفظ امنيت و آرامش در جامعه مجازي اقدام به وضع قوانيني براي جلوگيري از توليد و انتشار هرزنامه­ها کرده­اند[23] .

روش تغيير پروتوکلها

براي رفع نقص پروتوکلهاي موجود ،يک گام براي شناسايي هويت ارسال­کننده نامه­هاي الکترونيکي اضافه مي شود[18].

روشهاي فيلتري

(بعد از انتقال  هرزنامه سعی دارند که در سرویس دهنده های پست الکترونیکی به دسته بندی نامه های الکترونیکی به دو دسته هرزنامه و نامه معتبر بپردازند هرچند هنوز بعضی از مشکلات بیان شده همچنان وجود دارد [1,6,3,12])

روشهاي غير محتوايي

ليست سياه و سفيد

در اين روش ليستي از آدرسهايي که به عنوان مبدا انتشار هرزنامه شناخته شده­اند، تهيه مي شود. هر نامه الکترونيکي که از اين آدرسها فرستاده شود توقيف خواهد شد يا در نسخه ديگر فقط از آدرسهاي مشخص شده موجود در ليست سفيد، نامه الکترونيکي قبول مي­کند[9].

شبکه اجتماعي فرستندگان

در اين روش فيلدهاي From وToو Cc و Bcc  را از سرآيند نامه­هاي الکترونيکي کاربران استخراج و بررسي مي­کنند سپس با استفاده از آنها گراف روابط اجتماعي کاربران را مي­سازند در نهايت با استفاده از اين گراف روابط اجتماعي اقدام به
دسته­بندي نامه­هاي الکترونيکي کاربران مي­کنند.

رفتار فرستندگان

دانشِ راجع به رفتار كه در پشت يك پيغام يا مجموعه­اي ازپيغامها قرار دارد را از دل ويژگي­هاي غيرمتني استخراج مي­كند و سپس آن را با دانش از پيش تعريف شده­ي (يا استخراج شده) مربوط به كاربرهاي طبيعي و يا خرابكار، مقايسه مي كنند

روشهاي محتوايي

( در این روشها از محتوای نامه های الکترونیکی مانند متن و عنوان آن استفاده می کنند[10,11])

توکن کردن

( در این روش با استفاده از ابزار خاص اقدام به جداسازی کلمات مهم کرده و فقط از مهمترین آنها استفاده می کنند[1,16])

روشهاي اوليه

اولين فيلترها به صورت سطحي فقط وجود يا عدم وجود يك سري توكنهاي از پيش تعريف شده را در بدنه پيغام بررسي مي كردند و بر مبناي يک سري قواعد ثابت عمل مي کردند که به روش کلمات کليدي و آماري معروف بودند که امروزه با روشهاي يادگيري جايگزين شده اند .

يادگيري ماشيني

در اين روش براي پيش بيني از روشهاي داده کاوي و يادگيري ماشيني بهره مي برند به طوريکه اين دسته بيشترين کاربرد را امروزه دارد و از تمامي ابزار داده کاوي که جهت دسته بندي و پيش بيني به کار مي رود مي توان استفاده کرد.

آناليز زباني

اين روش ها بر اين فرض استوار هستند كه بدنه پيغامها به زبان طبيعي مي باشند و روش هایی كه مبتني بر مدلهاي مقايسه اي - مانند عمل مقايسه اي ماركف و نيز پيش بيني هستند را استفاده مي کنند.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

مقاله

روش پیشنهادی

مجموعه داده

دقت

توضیحات

یینگ و همکاران [11]

روش ترکیبی

خصوصیات کلی نامه ها همراه با فیلد های سرآیند

%91.78

در این مقاله استخراج ویژگیها با نظر خبرگان و غیر محتوایی می باشد

کیم و همکاران [5]

روش تولید قوانین از درخت تصمیم همراه با روش معنایی

تولید ساختگی نامه های الکترونیکی پرسشنامه ای برای صنایع مختلف

85.0%

دقت به ازای هر قانون متفاوت است ما بیشترین را در نظر گرفته ایم.

سوسا و همکاران [3]

روش همکارانه

تولید ساختگی داده ها همراه با داده واقعی

93.5%

از محتوای نامه ها استفاده کرده است

یاون و همکاران [15]

روش درخت تصمیم همراه با آنتولوژی

داده های واقعی همراه با تکرار چند باره

97%

از کلیه محتوا استفاده کرده و فیلتر کردن بر مبنای کلمات کلیدی خاص

 

جدول 2. کارهای مشابه انجام­شده

 

 

 

 

 

 

 

 

 

 

جدول 3. گام­های طراحی ضد هرزه­نامه

 

 

گامهای طراحی

توضیح

روش کار

 گام اول : استخراج ویژگیها

در این روش ویژگیهای و کلمات پرکاربرد از متن نامه ها استخراج می شود. در شبیه سازی(تولید مجموعه داده) دیگر نیازی به مرحله استخراج نیست بلکه به صورت پیش فرض و با نظر خبرگان این ویژگیها مستقیماٌ پرسش می شود.

ابزار مختلفی مانند متن کاوی و TF-IDF و مشابه آن به کار برده می شود.

گام دوم : انتخاب ویژگیها

در این مرحله از بین ویژگیهای مختلف بعضی از ویژگیهای تاثیر گذار و با اهمیت انتخاب می شود.

برای اینکار از ابزاری مانند IG  استفاده
می کنند که این ابزار از مهمترین روشها بوده و در نرم افزار کلمنتاین ابزاری بر این مبنا وجود دارد.

گام سوم : چارچوب پیشنهادی

در این مرحله به ارائه روشهای خود با استفاده از روشهای مختلف موجود در داده کاوی و یادگیری ماشینی در قالب چارچوب می پردازند.

طراحان سعی می کنند تا از طریق مقایسه یا ترکیب روشها به دقت بیشتری دست پیدا کنند.

گام چهارم : ارزیابی و اعتبار سنجی

دقت در طراحی وابسته به سه مرحله قبلی می باشد لذا ارزیابی تا حدودی از طریق معیارهای ارزیابی مشهور داده کاوی صورت می گیرد.

ارزیابی از طرق معیارها،ارزیابی از طریق مقایسه مولفه های نوآوری شده،

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

تولید اين مجموعه نامه­هاي الکترونيکي از طريق بررسي مجموعه مقالات موجود و نظر خبرگان همراه با بررسي
نامه­هاي الکترونيکي تبليغاتي صورت مي­پذيرد. روش کار براي تولید نامه­هاي الکترونيکي تبلیغاتی در قالب پرسشنامه به شرح زير مي­باشد. ابتدا طبق تمامي تحقيقات موجود در اين زمينه به اين مسئله مي­پردازيم که چه ويژگيهايي
مي­تواند از نامه­هاي الکترونيکي استخراج شود.

 سه دسته ويژگي اساسي، شامل موارد زير را مي­توان نام برد[1]:

·       ويژگيهايي از سرآيند30 

·       ويژگيهايي از متن31 نامه که شامل موضوع 32هم
مي­باشد

·       و يژگيهايي از کل ساختار33 نامه الکترونيکي

از آنجاييکه هدف ما پالايش و دسته­بندي نامه­هاي الکترونيکي تبليغاتي مي­باشد لذا لازم است که محتواي
نامه­هاي الکترونيکي نيز در همين راستا باشد. در کارهاي مشابه انجام شده بدليل اينکه چنين محدوديتي وجود نداشته، نامه­هاي الکترونيکي از صنايع مختلف را براي محتواي نامه­هاي الکترونيکي  در نظر گرفته­اند.[5] 

در چنين مواردي بدون در نظر گرفتن ويژگيهاي جامعه آماري پاسخ­دهندگان اقدام به تهيه محتواي نامه­هاي الکترونيکي کرده­اند. ما براي دقت در اين تحقيق ابتدا جامعه آماري پاسخ­دهندگان خود را در نظر گرفته و سپس اقدام به تهيه محتواي نامه­هاي الکترونيکي مي­کنيم.

 جامعه آماري پاسخ­دهندگان ما را جامعه دانشگاهي و دانشجويان تشکيل مي­دهند لذا لازم است حوزه­اي را برگزينيم که افراد آگاهي و تمايل نسبت به اين حوزه داشته باشند. در نتيجه ما نامه­هاي الکترونيکي تبليغاتي کتابفروشي برخط را به عنوان نمونه مطالعه موردي انتخاب مي­کنيم.

 

 

3-1-       استخراج ویژگی­های موثر نامه­های الکترونیکی

بعد از انتخاب حوزه کاري و جامعه آماري اکنون لازم است که محتوايي براي هر يک از ويژگيهاي بيان شده استخراج کنيم. براي اينکار تعدادي از نامه­هاي الکترونيکي تبليغاتي در حوزه کتابفروشي برخط را انتخاب مي­کنيم. سپس با نظر خبرگان در امر تبليغات و همچنين تعدادي از جامعه آماري اقدام به تهيه محتوا براي هر يک از ويژگي­هاي مطرح شده مي­پردازيم. جدول 4 ویژگیهای استخراج شده نامه­های الکترونیکی همراه با محتوا برای حوزه کاری مطرح شده را نشان می­دهد.

در ويژگي سرآيند دو گزينه بيان شده است: اگر فرستنده نامه الکترونيکي تبليغاتي براي گيرنده آشنا باشد ( يعني در دفترچه آدرس شخص موجود باشد که اين نوعي تبليغات از طريق مشتريان سازمانها مي­باشد که مي­توانند کالا يا خدماتي را به دوستان خود سفارش کنند).

 اگر آدرس فرستنده براي گيرنده آشنا نباشد (در حقيقت تبليغات از طريق شرکتهاي موجود و با آدرسهاي مختلف انجام شود). در ويژگي عنوان و متن گزينه­هاي مختلف و جذابي که در نامه­هاي الکترونيکي تبليغاتي مي­تواند وجود داشته باشد بيان شده است. ويژگي بعدي ويژگي­هاي کلي نامه­هاي الکترونيکي مي­باشد. محتواي نسبت داده شده به اين ويژگيها داراي حالت عمومي هستند و مي­توانند در ديگر حوزه­ها نيز مطرح شوند. به خاطر وجود ويژگيهاي زياد ما بر مبناي نظر خبرگان و اصول بازاريابي مطرح شده روزیتر و بلمن 34[14] ،دو دسته اصلي براي اين ويژگيها را در نظر گرفتيم [16].

        جدول 4 :ويژگي استخراج شده بر مبناي حوزه کاري

ويژگي کلي

ويژگي انتخاب شده بر مبناي حوزه کاري

گزينه هاي موجود

سرآيند 

 

فرستنده نامه الکترونيکي 

1، از طرف آدرس فرستنده آشنا  

2، از طرف آدرس فرستنده ناآشنا  

موضوع  

 

عنوان نامه الکترونيکي 

1، کتابهاي رايگان

2، تازه ترين کتاب

3، پرفروشترين کتاب

متن

 

زمينه و محتواي نامه الکترونيکي 

1، مهندسي و علوم پايه

2، پزشکي

3، علوم انساني

4، هنر

5، ساير(غير تخصصي و متفرقه)

ساختار کلي

 

ويژگيهاي دسته بندي شده نامه الکترونيکي 

1، سايز حافظه زياد (شامل گرافيک يا ضميمه و...)

2، سايزحافظه کم (شامل فقط متن و..)

 

2-3- استخراج پروفایل کاربران

مرحله بعدي استخراج ويژگيها که مهترين مرحله نيز
مي­باشد پروفايل کاربران مي­باشد. در اکثر تحقيقات از پروفايل­هاي استاندارد موجود در اکثر سايتها مانند شغل، جنسيت، تحصيلات، رشته تحصيلي، سن، علاقه­مندي و غيره استفاده شده است. از آنجاييکه شخصي­سازي بر مبناي پروفايل کاربران شکل مي­گيرد، لذا لازم است گزينه­هاي ديگري نيز براي بالا بردن دقت در نظر گرفته شود. براي اينکار ما دو گزينه را از مقالات مختلف جمع­آوري کرده و در پروفايل خود قرار مي­دهيم [1,5].

گزينه اول تعداد دفعاتي است که يک شخص بعد از دريافت يک نامه الکترونيکي آن را هرزنامه اعلام مي­کند. اين گزينه براي افراد مختلف متفاوت است به صورتيکه امکان دارد يک شخص در مرحله اول يک نامه الکترونيکي را هرزنامه اعلام کند در صورتيکه امکان دارد شخص ديگري در دفعات تکرار زياد نامه الکترونيکي مذکور را هرزنامه اعلام کند. گزینه­ای مشابه این گزینه با نام قدرت مورد انتظار برای ضد هرزنامه شخصی شده وجود دارد[5]. علت اصلي قرار دادن چنين گزينه­اي در پروفايل اشخاص به خاطر نامه­هاي الکترونيکي خاکستري مي­باشد.

گزينه دومي که در پروفايل اشخاص قرار داده شده و مورد پرسش قرار مي­گيرد، نسبت خطاهاي مورد تحمل شخص در فيلتر کردن است که مي­تواند قبول کند. در حقيقت افراد متفاوت ويژگيهاي رفتاري مختلفي دارند. بعضي از افراد عنوان مي­کنند که بايد هيچ يک از نامه­هاي الکترونيکي معتبر آنها به اشتباه فيلتر نشود و در مقابل دريافت چند هرزنامه روزانه را قبول مي­کنند، مخصوصاً وقتي که اين هرزنامه­ها، نامه­هاي الکترونيکي تبليغاتي باشد. در مقابل بعضي از افراد راضي به دريافت هيچ هرزنامه­اي نيستند، هر چند بعضي از نامه­هاي الکترونيکي معتبر آنها به اشتباه فيلتر شود. در حقيقت با اين گزينه دو گروه افراد متفاوت را از لحاظ رفتاري مي­توان تشخيص داد.

اين بخش مطابق با گام اول يعني گام استخراج ويژگيها از نامه­هاي الکترونيکي مي­باشد. در اينجا ما نياز به ابزاري خاص براي توکن کردن و غيرساختاري کردن متن نياز نداريم. در حقيقت با استخراج ويژگيها و محتوا با روش مطالعه مقالات مشابه ، مطالعه نمونه موردي ، نظر خبرگان و رتبه­بندي آنها توانستيم به ویژگیهای مورد نياز خود دست يابيم.

همانطور که ملاحظه مي­شود يک نمونه نامه الکترونيکي از ضرب دکارتي موارد بيان شده از جدول 4 حاصل مي­شود که تعداد 2*3*5*2=60 قالب نامه الکترونيکي بدست می­آید. تعداد سوالات پروفايل نيز برابر با 10 عدد مي­باشد که هريک از آنها مقادير مختلفي مي­تواند داشته باشد. در نتیجه هر پرسشنامه شامل 10 سوال برای پروفايل کاربران و تعداد 60 نامه الکترونيکي ساختگی و پرچسب پاسخگويي (هرزنامه یا معتبر ) مي­باشد.

 این پرسشنامه بعد از طراحی از طریق وب و در برخی موارد به صورت رودرو توسط 70 نفر از دانشگاهیان پاسخ داده شد، که پس از اعمال پاکسازي تعداد 66 عدد از آنها مورد استفاده قرار گرفت که از این تعداد 30 نفر را زن و 36 را مرد تشکیل می­دهد. در ادامه ما داده­هاي جمع­آوري شده را به صورت تصادفي درهم کرديم سپس اين داده­ها را به دو قسمت مساوي تقسيم کرديم. در ادامه براي ارزيابي چارچوب از دو نوع مجموعه داده زير استفاده کرديم. (هر رکورد شامل 10 فیلد پروفایل و 4 فیلد ویژگی نامه الکترونیکی و یک برچسب پاسخگویی می­باشد.)

·       مجموعه داده نوع اول: تعداد 1843 رکورد که شامل 1172 رکورد هرزنامه مي­باشد.

·       مجموعه داده نوع دوم: تعداد 1843 رکورد که شامل 959 رکورد هرزنامه مي­باشد.

4.       انتخاب ویژگی­ها و چارچوب پیشنهادی

بعد از گام اول نوبت به گام دوم مي­رسد. در اين گام لازم است که از بين ويژگيهاي موجود در پروفايل و ویژگیهای نامه­هاي الکترونيکي ساختگی بهترين آنها را براي چارچوب پیشنهادی خود انتخاب کنيم. بديهي است که تمامي ويژگيهاي بيان شده نمي­تواند براي چارچوب مفيد واقع شود. در بعضي موارد حتي مشاهده شده است که وجود بعضي از ويژگيها باعث کاهش دقت شده است. ما براي انتخاب ويژگيهاي مناسب از ابزار انتخاب ویژگی موجود در نرم­افزار کلمنتاین که از روش IG  بهره می­برد، استفاده
مي­کنيم. اين روش در اکثر مقالات موجود در اين زمينه به کار گرفته شده و نتيجه مطلوبي را به همراه داشته است [5]. در گام سوم روش پیشنهادی خود را در قالب یک چارچوب ارائه مي­دهيم. در این چارچوب سعی می­کنیم از اکثر روشهای مشهور و زیاد استفاده شده از حوزه داده کاوی، یادگیری ماشینی و آمار استفاده کنیم. شکل 1 چارچوب پیشنهادی ما را نمایش می­دهد.

 

D:\EC\theses\papaer1\Drawing2.jpg 

شکل 1. چارچوب ارائه شده

بخش اول پايگاه داده­ها مي­تواند هم پايگاه داده مربوط به آموزش و هم آزمايش چارچوب را شامل شود. براي راحتي کار ما در اين چارچوب فقط يکي از اين دو را نمايش داديم. اما بديهي است که بعد از تقسيم مجموعه داده­هاي موجود به دو بخش آموزش (70% داده ها بر اساس اکثر تحقیقات) و آزمايش مي­توانيم هر کدام از آنها را به چارچوب اعمال کنيم که در بخش آموزش چارچوب ايجاد مي­شود و در بخش آزمايش به ارزيابي چارچوب مي­پردازيم.

 بخش اول پايگاه داده­ها در کل شامل موارد زير مي­باشد :

پروفايل کاربران: اين پروفايلها از پاسخ­دهندگان به نامه­هاي الکترونيکي ساختگی جمع­آوري شده است.

نامه­هاي الکترونيکي: اين پايگاه داده نتيجه مطالعات، نظر خبرگان، بررسي نامه­هاي الکترونيکي مختلف در حيطه تبليغات مي­باشد.

پاسخهاي جمع­آوري شده: اين بخش برچسب نسبت داده شده از طرف پاسخ­دهندگان به نامه­هاي الکترونيکي 
شبيه­سازي شده می­باشد. در حقيقت شامل دو گزينه نامه معتبر يا هرزنامه مي­باشد.

بخش دوم پايگاه داده­ها شامل پيش­بيني­هاي چارچوب 
مي­باشد اين قسمت شامل دو پايگاه داده به صورت زير 
مي­باشد:

پايگاه داده معتبر: اين پايگاه داده در حقيقت شامل 
پيش­بيني نامه­های معتبر چارچوب مي­باشد.

پايگاه داده هرزنامه: اين پايگاه داده شامل نامه­هاي الکترونيکي است که چارچوب آنها را به عنوان هرزنامه شناخته و براي استفاده آتي در اينجا ذخيره کرده است.

مسير 1 از هر سه پايگاه داده موجود در چارچوب استفاده مي­کند. اين مسير خود به تنهايي به 4 مسير فرعي منشعب مي­شود. در هر مسير فرعي چارچوب از روشهای داده کاوي و يادگيري ماشيني براي پيش­بيني استفاده شده است. هر روش شامل دو قسمت انتخاب ويژگيها از ميان ويژگيهاي استخراج شده و انجام اعمال پيش­بيني را شامل مي­شود. در مسیر 2 عمل مقایسه ما بین نتایج بدست آمده صورت
می­گیرد. چهار روش يا الگوريتم استفاده شده در اين مسير به شرح زير مي­باشد[6,10,12,16] :

مسير  1 از هر سه پايگاه داده موجود در چارچوب استفاده مي کند. اين مسير خود به تنهايي به 4 مسير فرعي منشعب مي­شود. در هر مسير فرعي چارچوب از روشهای داده­کاوي و يادگيري ماشيني براي پيش­بيني استفاده شده است. هر روش شامل دو قسمت انتخاب ويژگيها از ميان ويژگيهاي استخراج شده و انجام اعمال پيش­بيني را شامل مي­شود. در مسیر 2 عمل مقایسه ما بین نتایج بدست آمده صورت
می­گیرد. چهار روش يا الگوريتم استفاده شده در اين مسير به شرح زير مي­باشد[6,10,12,16] :

C5.0: روش يا الگوريتم اول که همان درخت تصميم نيز مي­باشد به وفور و در منابع مختلف براي اعمال پيش­بيني استفاده مي­شود. براي ايجاد اين درخت روشهاي زيادي وجود دارد که امروزه با نرم­افزارهاي موجود و در دسترس به سادگي مي­توان از C4.5 و يا C5.0 استفاده کرد. در اينجا ما از C5.0 که در نرم­افزار کلمنتاين وجود دارد استفاده کرديم.

SVM: روش يا الگوريتم دوم که در اينجا استفاده مي­شود SVM مي­باشد. اين روش براي پيش­بيني بعضي از ويژگيها مخصوصا در حيطه تصاوير کاربرد دارد.

BN: روش يا الگوريتم سوم همان شبکه بيزين مي­باشد. اين الگوريتم در روشهاي محتوايي به فراوان و کرات مورد استفاده قرار گرفته است. اين روش بيشتر مطابق با روشهاي آماري و يادگيري ماشيني مي­باشد.

MLP: اين روش يا الگوريتم همان روش شبکه­هاي عصبي براي پيش­بيني مي­باشد. انواع روشهاي مختلفي براي 
پيش­بيني با استفاده از شبکه­هاي عصبي موجود مي­باشد. اما از ميان روشهاي مختلف موجود و ابزار موجود در نرم­افزار کلمنتاين روشي را برمي­گزينيم که نسبت به روش­هاي ديگر از نظر زماني همخواني داشته باشد. ما بيشتر از روش 
شبکه­هاي عصبي چند لايه استفاده مي­کنيم که MLP35 مي­تواند بهترين مورد هم از نظر زمان و هم از نظر پيش­بيني باشد.

5.       ارزیابی نتایج و تفسیر آنها

بعد از اينکه داده­هاي مورد نياز خود را جمع­آوري و پردازش کرديم اکنون نوبت به اجرا و پياده­سازي چارچوب ارائه شده مـي­رسد. ما اطـلاعات مورد نياز براي ارزيابي، نتيجه­گيري و

 

 

 

تفسير نتايج را از اجرا و پياده­سازي چارچوب در نرم­افزار کلمنتاين بدست مي­آوريم. نمودار کلي براي اجراي اين مرحله را، مي­توان به صورت شکل 2 در نرم­افزار کلمنتاين نمايش داد. اين ساختار براي هر دو مجموعه داده موجود يکسان بوده و مبنايي براي اجرا و پياده­سازي اين روشها مي­باشد. در اين نمودار ابتدا مجموعه داده وارد نرم­افزار
مي­شود. سپس اگر نيازي به فيلتر کردن بعضي از ويژگيها باشد اقدام به فيلتر کردن ويژگي مورد نظر مي­کنيم. در گره بعدي نوع داده­هاي ويژگيها را براي نرم­افزار مشخص
مي­کنيم. مهمترين ويژگي که نوع داده آن بايد به درستي مشخص شود، ويژگي مورد پيش­بيني مي­باشد. گره بعدي گره پارتيشن مي­باشد. اين گره وظيفه انتخاب تصادفي مجموعه آموزش (در اينجا 70% مجموعه) و مجموعه آزمايش را دارد. گره­هاي بعدي چهار روش عنوان شده در چارچوب مي­باشد. بعد از اين مرحله پياده­سازي خود را در اين نرم­افزار اجرا مي­کنيم. هر يک از روشها بعد از اجرا داراي نتايجي مي­باشند که ما فقط بعضي از نتايج که براي ارزيابي چارچوب لازم است را ارائه مي­کنيم. چنانچه قبلاً نيز بيان شد در هر يک از روشها قبل از اجرا به انتخاب ويژگيهاي با اهمیت مي­پردازیم، نمودار شکل 3 نمونه­اي از اين انتخاب ويژگيهاي با اهميت را، براي شبکه عصبي نشان مي­دهد. در مقايسه این نمودارها برای هر چهار روش می­توان موارد زیر را بیان کرد :

هر يک از روشها مجموعه­اي از انتخاب ويژگيهاي منحصر به خود را دارد. در اين نمودارها سوال 9  (tr9)و سوال 10 (df10)که همان موارد اضافه شده در پروفايل کاربران در اين تحقيق مي­باشد داراي جايگاه خوبي مي­باشند. دقت و نتيجه به دست آمده از هر روشی تا حدودي وابسته به ويژگيهاي مورد استفاده در روش
مي­باشد.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

img0 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

شکل 2. اجراي چهار روش چارچوب در نرم­افزار کلمنتاين

 

 

 

 

img0 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

شکل 3. متغيرهاي با اهميت در انتخاب ويژگي براي شبکه عصبي

 

 

حال نتايج به دست آمده براي هر دو مجموعه داده اول و دوم را ارائه مي­کنيم. در جدول 5 معیارهای ارزیابی [1,8,12,16,19] مورد مقایسه برای هر دو مجموعه بر مبنای چهار روش اجرا شده را می­توان مشاهده کرد.

در هر يک از مجموعه داده­ها به ازاي هر روش تقريبا نتايج يکساني حاصل مي­شود. در نتايج هر مجموعه داده شبکه عصبي بهترين نتيجه و پيش­بيني را نسبت به ديگر روشها دارا مي­باشد. در نتیجه شبکه عصبی به عنوان پایدارترین و بهترین روش می تواند مورد توجه قرار گیرد .

در پایان نمودار بهره Gain )  (براي مجموعه داده اول و مجموعه داده دوم به ترتيب در قالب نمودارهای شکل 4 و 5 برای هر چهار روش نمایش داده می­شود. این نمودارها در حقیقت یک روش بصری و آماری برای کمک به درک کارآیی روشهای مطرح شده می­باشد .در اين نمودارها ابتدا مجموعه داده‌ها به صد قسمت تقسيم شده و به صورت درصدی در محور افقی نمایش داده می­شود، سپس به صورت تجمعي تعداد کل پیش­بینی­های درست هرزنامه به ازای کل پیش­بینی­ها در قالب نمودار در محور عمودی به صورت درصد نمایش داده می­شود. این نمودارها گویای آن است که روش شبکه عصبی بهترین بهره را دارا می­باشد. هر چند مي‌توان اين نمودار را به صورت نقطه­اي و غيرتجمعي و با تقسيمات مختلف داده نمايش داد که از آن صرف­نظر
مي­کنيم.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

جدول5 : معیارهای ارزیابی برای هر دو مجموعه داده:( a :هرزنامه­ای که به عنوان هرزنامه پیش­بینی شده، d: نامه معتبری که به عنوان نامه معتبر پیش­بینی شده، b:هرزنامه که به عنوان نامه معتبر پیش­بینی شده(FN)، c:نامه معتبر که به عنوان هرزنامه پیش­بینی شده(FP))

 

مجموعه داده

 

روش | معیار

مجموعه اول

مجموعه دوم

Accuracy

img0 

C5.0

87.87

87.17

SVM

91.39

90.51

BN

85.59

77.86

NN

95.43

95.08

Error Rate

 

img0 

C5.0

12.13

12.83

SVM

8.61

9.49

BN

14.41

22.14

NN

4.57

4.92

Rate FP

img0 

C5.0

21.6

14.5

SVM

14.6

8.8

BN

22.5

20.99

NN

7.0

4.6

Spam Recall

img0 

C5.0

94.1

88.88

SVM

95.3

89.93

BN

90.9

76.73

NN

97.0

94.79

Spam Precision

img0 

C5.0

86.82

86.19

SVM

90.08

91.19

BN

85.95

78.92

NN

95.25

95.45

 

img0 

 

 

 

 

 

 

 

 

 

 

 

 

شکل 4. نمودار بهره Gain براي داده اول

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

­­­­­­

6.       نتیجه­گیری و پیشنهاد کارهای آتی

به طور کلي در ايران در زمينه دسته­بندی و پالایش نامه­هاي الکترونيکي در امر بازايابي و تبليغات پژوهش زيادي انجام نشده است، لذا در اين طرح سعي بر ايجاد يک ضد هرزنامه شخصي شده براي تخمين اهميت و دسته­بندی نامه­هاي الکترونيکي تبليغاتي کاربران با توجه به رفتار. پروفایل آنها شده است. در واقع ما از سه منبع مقالات، مطالعه و بررسي نامه­هاي الکترونيکي تبليغاتي و نظر خبرگان براي انجام اين تحقيق استفاده کرده­ايم.

براي طراحي بهتر لازم بود که حوزه کاري و بعدي از تجارت الکترونيک که طراحي ضد هرزنامه براي آن صورت مي­پذيرد، مشخص شود. طراحي ضد هرزنامه براي نامه­هاي الکترونيکي تبليغاتي که بيشتر در حوزه نامه­هاي الکترونيکي خاکستري قرار مي­گيرد، صورت پذيرفته است. در بعد تجارت الکترونيکي، براي بازاريابي از طريق نامه­هاي الکترونيکي تبليغاتي و بيشتر براي بازاريابي B2C سازگار شده است. بعد از طراحی پرسشنامه، جمع آوری پاسخها، مقایسه روشها بر مبنای معیارهای ارزیابی مطرح شده و دو مجموعه داده مجزا با یکـدیگر مشـخص شد که شـبکه عصبی دارای بیشترین

ـ

 

   

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

img0 

 

 

 

 

 

 

 

 

 

 

 

شکل 5. نمودار بهره Gain براي داده دوم

 

 

 

دقت می­باشد. این دقت و ثبات در نتایج بدست آمده از شبکه عصبی به خاطر نوع خاص روش شبکه عصبی می­باشد که بر مبنای افکار انسان عمل می­کند.

به طور کلی می­توان در هر چهار مرحله بیان شده طراحی نوآوری­هایی دیگری در نظر گرفت. در مرحله اول می­توان دسته­بندی­های دیگر و بر مبنای جامعه آماری دیگر شبیه­سازی کرد. در قسمت چارچوب
می­توان از ترکیب روشهای موجود مانند رای­گیری برای پیش­بینی استفاده کرد. هر روش در حین انتخاب ویژگیها به صورت منحصر به فرد عمل می­کند لذا هریک بسته به ویژگیهای انتخابی دقت محدودی را در همان بازه کسب می­کند. با ترکیب کردن نتایج روشهای مختلف می­توان از حداکثر ویژگیهای استخراج شده بهره برد. برای دقت بیشتر می­توان از روشهای معنایی، آنتولوژی همراه با روش­های همکارانه بهره برد. برای مثال می­توان به خوشه­بندی پروفایل­های کاربران پرداخت. سپس با استفاده از این خوشه­بندی در مراحل مختلف اقدام به بهبود دقت چارچوب کرد.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

منابع

.1 Blanzieri E., Bryl A. ,( 2008) A survey of learning-based techniques of email spam filtering, Artif Intell Rev, vol.29,pp.63–92.

.2 Cukier W. L., Cody S., Nesselroth E. J.,        (2006)Genres of Spam: Expectations and Deceptions, Proceedings of the 39th Hawaii International Conference on System Sciences, .

.3 Sousa p., et al,(2010) A Collaborative Approach for Spam Detection ,Second International Conference on Evolving Internet, IEEE.

.4 Raad M.,et al,(2010)Impact of spam advertisement through e-mail: A study to assess the influence of the anti-spam on the e-mail marketing, African Journal of Business Management, Vol. 4(11), pp. 2362-2367.

.5 Kim J., Dou D., Liu H., Kwak D., (2007)Constructing a User Preference Ontology for Anti-spam Mail Systems, Canadian AI 2007, LNAI 4509, pp. 272 – 283.

.6 Kakade A.G., Kharat P.K., Gupta A.K,(2013),Survey of Spam Filtering Techniques and Tools, and Map Reduce with SVM, IJCSMC, Vol. 2, Issue. 11, November 2013, pg.91 – 98.

.7 Wenxuan S.,Maoqiang X.,(2013) A Reputation-based Collaborative Approach for Spam Filtering, 2013 AASRI Conference on Parallel and Distributed Computing and Systems, Volume 5, 2013, Pages 220–227

.8 Almeida, T. A., Yamakami, A.,(2012) Facing the spammers: A very effective approach to avoid junk e-mails, Expert Systems with Applications,vol. 39 ,pp.6557–6561.

.9 Cook D., Hartnett J., Manderson K., scanlan J., (2006)catching Spam Before it Arrives: Domain Secific Dynamic Blacklists , ACM Inrenational Conference Proceeding Series; Vol.167,pp.193-202.

.10 Almeida T.A., Yamakami A.,(2010) Content-Based Spam Filtering, The 2010 International Joint Conference on Neural Networks (IJCNN), IEEE.

.11 Ying K.C., et al,(2010)An ensemble approach applied to classify spam e-mails, Expert Systems with Applications.vol 37,pp. 2197–2201.

.12 Saad O., Darwish A., Faraj R.,(2012) A survey of machine learning techniques for Spam

filtering., International Journal of Computer Science and Network ecurity, VOL.12 No.2, February.

.13 Yih W., McCann R., Kołcz A.,(2007) Improving Spam Filtering by Detecting Gray Mail, In Proceedings of the 4rd Conference on Email and Anti-Spam.

.14 Rossiter J. R., Bellman S.,(2005) “Marketing Communications” Prentice Hall, English.

.15Youn S., McLeod  D.,(2009) Spam Decisions on Gray E-mail using Personalized Ontologies, Proceedings of the 2009 ACM Symposium on Applied Computing (SAC), Honolulu, Hawaii, USA, pp. 1262-1266.

.16 Guzella T.S., Caminhas W.M.,(2009) A review of machine learning approaches to Spam filtering , Expert Systems with Applications,vol. 36,pp.10206–1022.

.17Saad O.,Darwish A.,faraj R.,(2012)A survey of machine learning techniques for Spam filtering., International Journal of Computer Science and Network security, VOL.12 No.2, February. 

.18 Dwork C., Naor M.,(1992) Pricing via processing or combatting junk mail, In Advances in Cryptology - Crypto 92 Proceedings, Springer Verlag, pp 139–147. 

.19 SHI  L., WANG  Q. , MA  X. , WENG  M. , QIAO  H.,( 2012) Spam Email Classi_cation Using Decision Tree Ensemble, Journal of Computational Information Systems,vol. 8: 3,pp. 949–956.

.20 Spam definition.(2012)Availabe at http://en.wikipedia.org/wiki/Spam_(electronic) . 

.21 GrayEmail definition,( 2012) Availabe at http://en.wikipedia.org/wiki/Graymail_(email).

.22 Ravi J., Shi W., Xu C., (2005)Personalized Email Management at Network Edges, IEEE Internet Computing, Vol.9(2) ,pp.54-60.

 .23 Nicola L.,( 2004) European union vs. spam: A legal response, In Proceedings of the First Conference on Email and Anti-Spam, CEAS’2004.

.24Rafiqul I., Jemal A.,(2013) A multi-tier phishing detection and filtering approach, Journal of Network and Computer Applications, Volume 36, Issue 1, January 2013, Pages 324–335.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

21

 

[1]  Electronic Mail

[2]  Electronic Commerce

[3]  Email marketing

[4]  Spam

[5]  Legitimate , Ham       

[6]  Unsolicited E-mail

[7]  False Psitive

[8]  False Negative

[9]  Anti-spam

[10]  Filter

[11]  Gray , Grey

[12] Personalized Anti-spam

[13]  Profile

[14]  Clementine 12.0

[15]  Machine learning

[16]  Sousa and et al.

[17]  Collaborative

[18]  Peer-to-peer

[19]  Ravi and et al.

[20]  Server

[21]  Yih and et al.

[22]  Term Frequency- Inverse Document Frequency

[23]  Accuracy

[24]  Kim and et al.

[25]  Human Expert

[26]  Bayesian network

[27]  neural network

[28]  decision tree

[29]  support vector machines

[30]  Header

[31]  Bodey

[32]  Subject

[33]  General structure

[34]  Rossiter  and Bellman .(2005)

[35]  Multilayer Perceptron


مقالات مرتبط

حقوق این وب‌سایت متعلق به سامانه مدیریت نشریات رایمگ است.
حق نشر © 1403-1396

صفحه اصلی| عضویت/ ورود| درباره رایمگ| تماس با ما|
[English] [العربية] [en] [ar]