به نام خدا

با دوره آموزش Asp.net MVC 5.2 و C#.NET به صورت پروژه محور درقالب سیستم جستجوگر خبر در خدمت شما هستیم. در دوره بی نظیر آموزش طراحی سایت جستجوگر خبر با هم یک اسپایدر جستجوگر خبر خواهیم ساخت که فقط کافیه اطلاعات اولیه یک سایت رو بهش بدید تا اخبار موجود را برای شما واکشی و در دیتابیس ذخیره سازی نماید. در این دوره ما از HtmlAgilityPack برای خواندن صفحات Html استفاده کردیم و اخبار و اطلاعات لازم را از صفحه بیرون خواهیم کشید. (توجه کنید که مثل خبرخوان های ساده از RSS) استفاده نخواهیم کرد و همانند گوگل ما هم اطلاعات اصلی را خواهیم خواند. همچنین این اسپایدر قابلیت زمانبندی و آپدیت خودکار اخبار و همچنین حذف اتوماتیک اخبار را داراست که طبق الگوهای خاصی که ما آن را برنامه ریزی کرده ایم عمل می کند. همچنین قابلیت سازگار شدن با سایت ها را دارد که بار اول ممکن است در یک سایت کمی کُند باشد ولی بار دوم خیلی سریع تر خواهد بود و تمام لینک های زائد را خود می شناسد و از بازکردن آن ها خوداری می کند. برای کسب اطلاعات بیشتر به سرفصل ها مراجعه بفرمایید.

تکنولوژی هایی که در این دوره به صورت حرفه ای یاد خواهیم گرفت و با هم تلفیق می کنیم:

  • net MVC
  • C#.Net
  • XPath
  • HtmlAgilityPack
  • Regular Expression
  • برنامه نویسی سمت اینترنت
  • Web Service

توجه بفرمایید اگر می خواهید این دوره را دنبال کنید و با Asp.net MVC آشنایی ندارید می توانید از دوره آموزش مقدماتی تا حرفه ای سیستم سایت خبری با Asp.net MVC 5.2 در سایت دانشجویار که مدرسش خودم هستم دیدن بفرمایید و اول اون رو ببینید…

dotnet_logo

سرفصل ها به صورت کلی:

  • آماده سازی بانک اطلاعاتی
  • آماده سازی قالب
  • طراحی بخش ارتباط با کاربر با net MVC
  • آموزش Regular Expression
  • بیرون کشیدن اخبار یک بخش با Regular
  • برسی یک نمونه از XPath روی یک سایت خبری
  • توضیحات مربوط به XPath
  • آموزش HtmlAgilityPack
  • تلفیق XPath و HtmlAgilityPack در یک پروژه ساده و واکشی یک خبر
  • بازگشت به پروژه اصلی
  • ایجاد اسپایدر مربوط به لینک ها
  • مقدمه ای بر برنامه نویسی تحت ویندوز
  • ارتباط با بانک اطلاعاتی
  • طراحی ظاهر اسپایدر
  • ایجاد بخش دنبال کننده لینک ها
  • بخش تفکیک لینک های داخلی و خارجی
  • کامل سازی دریافت کننده کل لینک های داخلی سایت
  • ایجاد بخش دریافت XPath مربوط به سایت
  • تکمیل بخش دریافت کننده اخبار
  • هوشمند سازی اسپایدر برای رد کردن صفحاتی که الگوی ما را ندارند
  • دریافت لیست ایمیل ها و ذخیره در دیتابیس
  • دریافت لیست سایت ها و عنوان و مشخصات آنها و دخیره
  • ایجاد قسمت زمان بندی برای کار اسپایدر.(مثلا شب ها از ساعت ۱ تا ۵ صبح)
  • مقدمه ای بر بروزرسانی سایت ها و طبیق اطلاعات ما با آن ها

 

تست پروژه اصلی ما

ایجاد وب سرویس برای استفاده در اندروید و نرم افزار های ویندوزی

ایجاد فایل DLL برای آسان سازی کار با وب سرویس ها

سرفصل ها به صورت جزئی که در هر بخش چه کارهایی انجام دادیم:

بخش اول:

معرفی مدرس و دوره

 

3-6

بخش دوم:

بخش اول ایجاد دیتابیس + بهینه سازی در SQL Server 2014

بخش سوم:

بخش دوم ایجاد دیتابیس + بهینه سازی در SQL Server 2014

بخش چهارم:

آماده سازی قالب

بخش پنجم:

افزودن مقادیر اولیه به دیتابیبس

افزودن پک های لازم به پروژه

استارت طراحی خود سایت خبری

بخش ششم:

نمایش اخبار در صفحه اصلی

صفه بندی اخبار

ایجاد صفحه اختصاصی هر خبر

بخش هفتم:

تکمیل بخش های اضافی سایت

بخش هشتم:

دسته بندی اخبار مانند سایت شهر خبر(ورزشی، اقتصادی و …) به صورت بلوک بندی شده

ایجاد بخش دسته بندی اصلی سایت

بخش نهم:

ایجاد بخش گزارش تخلف (ارسال پیام اتوماتیک) و تماس با ما

بخش کلمات کلیدی خبر(بصورت پیشرفته)

بخش دهم:

بخش مدیریت سایت

بخش ورود به سایت

مدیریت اخبار جمع آوری شده جستجوگر

بخش یازدهم:

ایجاد بخش گزارشات تخلف و مدیریت آن ها

بخش دوازدهم:

مدیریت دسته بندی

 

3-4-copy

بخش سیزدهم:

آموزش Regular

بخش چهاردهم:

عبارات با قاعده در C#

مثال هایی از عبارات با قاعده یا Regular در C#

بخش پانزدهم:

خوندن اطلاعات سایت با استفاده از Regular Ex

 

3-5-copy

بخش شانزدهم:

مقدمه ای بر XPath

نحوه دریافت XPath یک بخش از یک صفحه

خواندن داده ها با استفاده از XPath

بخش هفدهم:

توضیحات اصلی و ضروری

استارت ایجاد اسپایدر

آماده سازی پروژه اصلی

بخش هجدهم:

واکشی لینک ها از صفحات Html

سازماندهی لینک ها و تبدیل به لینک های معتبر

بخش نوزدهم:

تفکیک لینک های داخلی از لینک های خارجی

واکشی خبرهای موجود در صفحه

دسته بندی خودکار خبر ها

افزودن کلمات کلیدی به صورت خودکار در صورت وجود

 

3-2-copy

بخش بیستم:

دانلود صفحات و تست اسپایدر

برنامه ریزی دقیق و تنظیم اسپایدر برای کم کردن درصد خطا

نمایش اخبار واکشی شده روی سایت اصلی

بخش بیست و یکم:

ایجاد بخش بروزرسانی

افزودن قابلیت سازگار شدن با سایت معرفی شده و سرعت بیشتر بار دوم به نصبت بار اول

بخش بیست و دوم:

ادامه بخش بروز رسانی

ویرایش دسته بندی خبر

ویرایش کلمه های کلیدی

بخش بیست و دوم:

ادامه بخش بروزرسانی

مدیریت سایت هایی که به Not Found خواهند خورد

بخش بیست و سوم:

تکمیل بخش بروز رسانی و بروزرسانی کلمات کلیدی

واکشی ایمیل ها از صفحات Html به همراه واکشی اخبار و تعیین اهمیت و ارزش گزاری آن ها

تست بخش بروزرسانی

بخش بیست و چهارم:

بهینه سازی بخش بروزرسانی اخبار و لینک ها

کاهش درصد خطا در این بخش به میزان ۵۰ % (از مقدار خطای احتمالی)

بخش بیست و پنجم:

ایجاد بخش واکشی لینک های خارجی + عنوان + توضیحات + کلمات کلیدی

بخش بیست و ششم:

ایجاد بخش آمار کارکرد اسپایدر و  Statistics ها

بخش بیست و هفتم:

ادامه بخش آمار

بررسی دسترسی به اینترنت برای جلوگیری از خطای اسپایدر

رفع برخی از خطاها و مشکلات احتمالی

بخش بیست و هشتم:

بررسی و رفع خطا و ثبت وقایع

بخش بیست و نهم:

ایجاد قسمت لیست سیاه سایت ها به صورت حرفه ای

بخش سی ام:

تکمیل بخش لیست سیاه سایت ها

ایجاد قسمت لیست سیاه تگ ها در مطالب(حذف تگ های ناخواسته از نتایج به صورت حرفه ای)

بخش سی یکم:

ایجاد نخ(Thread) برای شروع کار اسپایدر

ایجاد دکمه توقف اسپایدر

ایجاد بخش زمان بندی به صورت حرفه ای + توضیحات تکمیی و ضروری

بخش سی و دوم:

تکمیل بخش زمان بندی اسپایدر + توضیحات تکمیلی و ضروری

بخش سی و سوم:

محکم سازی اسپایدر در برابر خطاهای احتمالی

ارسال sms برای مدیر اصلی هنگام از کار افتاد اسپایدر با خطاهای مهلک

بخش سی و چهارم:

بازگشت به سایت اصلی

ایجاد دکمه حذف خبر (به صورتی که اسپایدر دیگر از آن خبر چشم پوشی کند)

بازیافت خبر حذف شده

بخش سی و پنجم:

ایجاد قسمت لینک های اصلی

فعال یا غیر فعال سازی یک لینک اصلی

حذف یک لینک اصلی و تذکرهای لازم

بخش سی و ششم:

نمایش جزئیات یک لینک اصلی

ایجاد متادیتا های لازم

بخش سی و هفتم و سی و هشتم:

ایجاد بخش افزودن لینک جدید

ایجاد بخش ویرایش یک لینک

ایجاد بخش Tester XPath (برای کاهش خطاهای احتمالی)

بخش سی و نهم:

حذف یک لینک اصلی

ایجاد بخش مدیریت لینک های سیاه

بخش چهلم:

ایجاد iframe به جهت نمایش صفحه اصلی خبر در سایت و کسب اعتماد کاربران

بخش چهل و یکم:

ایجاد بخش سمت کاربر خبرنامه

افزودن قابلیت عضویت و لغو عضویت در خبرنامه + امنیت آن

افزودن قابلیت اینکه کاربر تعیین کند اخبار کدام قسمت برایش ارسال شود

بخش چهل و دوم:

ایجاد قسمت سمت سرور و مدیریت خبرنامه

ایجاد بخش ارسال خبرنامه به صورت پیشرفته و هوشمند

بخش چهل و سوم:

مدیریت ایمیل های واکشی شده

بیرون کشیدن ایمیل ها به تعداد دلخواه بر حسب ارزش به صورت فایل txt و XML

بخش چهل و چهارم:

مدیریت لینک های خارجی یافت شده

نمایش لینک ها برحسب ارزش آن ها که اسپایدر تعیین کرده

3-1-copy

بخش چهل و پنجم:

شروع بخش طراحی وب سرویس

آموزش وب سرویس

واکشی اخبار با استفاده از وب سرویس

بخش چهل و ششم:

ایجاد ظاهر خبرخوان تحت ویندوزی

نمایش دسته بندی ها

نمایش اخبار

بخش چهل و هفتم:

مرتب سازی دسته ها برحسب فرزند و پدر

ایجاد بخش صفحه بندی سیستم

توسعه متد مربوط نمایش اخبار

برسی اتصال سرور و کلاینت

بخش چهل و هشتم:

تکمیل خبرخوان ویندوزی و کاربردی کردن آن

ایجاد بخش نمایش مشخصات خبر

حذف تگ های Html از نتیجه و نمایش یک متن تمیز

بخش چهل و نهم:

تولید فایل DLL مربوط به وب سرویس و تبدیل آن

مثالی کاربری از نمایش اخبار با فایل DLL

بخش پنجاه:

آماده سازی پروژه برای گذاشتن روی سرور

کانفیگ پنل و آماده سازی آن

بخش پنجاه و یکم:

گذاشتن سایت روی سرور

نمایش اخبار و استفاده از وبسرویس اصلی روی سرور

نمایش و تست اسپایدر

امیدوارم این دوره نیز مورد پسند شما کاربران عزیر سایت دانشجویار واقع شده باشد. مشکلات احتمالی که به وجود آمده بودند به بزرگواری خود ببخشید. مشکلات خود را میتوانید به آدرس ایمیل: reza9025 [at] Gmail[dot]com ارسال بفرمایید تا در اسرع وقت به مشکلات شما پاسخ داده شود.

با تشکر فراوان