سرفصل های دوره

۲ فصل
۱۰ جلسه
۲ ساعت
۱

مقدمات

۲ قسمت
۰۰:۱۸:۳۳
1

قسمت اول - معرفی دوره

رایگان
۰۶:۳۶
2

قسمت دوم - مفاهیم فریورک Scrapy برای استخراج ساختارمند اطلاعات از وب

رایگان
۱۱:۵۷
۲

آموزش فریمورک Scrapy در پایتون

۸ قسمت
۰۱:۵۳:۵۴

Web Scraping و Web Crawling دو مورد از مهم ترین موارد بررسی و تحلیل صفحات وب هستند. در سال 2008 فریمورکی تحت عنوان Scrapy انتشار یافت که برای تازه کاران ساده و برای حرفه ای ها به اندازه کافی دارای ویژگی های مثبت است.

وبسایت ها حاوی اطلاعات معنی دار هستند که می توانیم آن ها را  استخراج کنیم و در کاربرد مورد نظرتان ( طراحی موتور جستجو یا ایجاد یک دیتاست برای کار تحلیل داده یا …) از این داده ها بهره ببرید.

در دوره آموزش Scrapy در پایتون ، با Scrape کردن محتویات خام از صفحات وب و ذخیره کردن آنها برای استفاده بعدی در یک قالب ساختارمند و معنادار ، نحوه ی کارکرد Scrapy ، ساختار کلی آن، نحوه ی استفاده از Selector های Css و Xpath در Scrapy برای انتخاب بخش های مورد نظرتان از یک وبسایت ، استفاده از Scrapy Shell ، مفاهیم Crawl کردن صفحات وب و ساخت موتور های جستجو و Spider ها و… آشنا میشوید.

نکته
این آموزش در بسته طلایی آموزش برنامه نویسی با زبان پایتون وجود دارد. 

دوره آموزش Scrapy در پایتون مناسب چه افرادی است؟

افرادی که در حوزه ی Data analysis فعالیت میکنند و میخواهند اطلاعاتی را برای تحلیل از صفحات وب استخراج کنند، افرادی که میخواهند موتور جستجو برای یک وبسایت به خصوص بسازند یا با نحوه ی کارکرد موتور های جستجو مثل Google ، Bing ، Yahoo و… آشنا شوند و افرادی که به استخراج اطلاعات از وب علاقه دارند مخاطبین این دوره هستند.

آنچه با مشاهده این دوره به دست می آورید:

  • متخصص شدن در زمینه برنامه نویسی پایتون
  • پیاده سازی پروژه های تخصصی و هیجان انگیز
  • توسعه و پیاده سازی خزنده های وب (Web Crawler)
  • دریافت به روز ترین سرفصل آموزشی و آخرین ورژن های تکنولوژی
  • آموزش مطالب تخصصی و عدم اتلاف وقت برای مباحث غیر کاربردی
  • اجرایی کردن ایده های خودتان
  • کسب درآمد از از این حوزه
  • اشتغال و درآمد زایی
  • و …

پیش نیاز ها:

  • آشنایی با زبان Python

تکنولوژی ها و نرم افزار ها:

سرفصل های دوره آموزش Scrapy در پایتون :

 جلسه اول : مقدمه و معرفی دوره

جلسه دوم : مفاهیم فریورک Scrapy برای استخراج ساختارمند اطلاعات از وب

  •  معرفی Scrapy
  •  Web Scraping
  •  Web Crawling
  •  Spider
  • CSS Selector and Xpath Selector
  •  بررسی ساختار کلی Scrapy و چگونگی کار کردن اجزای آن با یکدیگر

جلسه سوم : معرفی دستورات Scrapy

  • نصب Scrapy
  • بررسی دستورات bench , version , settings
  • معرفی Scrapy Shell

جلسه چهارم : Css Selector

  •  استخراج اطلاعات با ‌کلاس های css
  •  استخراج اطلاعات با عبارات منظم ( Regular Expression )
  •  اسپمر ها

جلسه پنجم : Xpath Selector

جلسه ششم : پروژه اول

جلسه هفتم : بررسی الگوریتم یک Search Engine برای یک سایت اختصاصی

جلسه هشتم : پروژه دوم

  • استخراج اطلاعات مورد نیاز برای ساخت یک Search Engine برای سایت StackOverflow

جلسه نهم : پروژه سوم ( کار با داده های فارسی)

  • استخراج اطلاعات فارسی از سایت دانشجویار ( اطلاعات دوره ها)

جلسه دهم: استخراج لینک های یک وبسایت با scrapy shell

 

مشاهده گیتهاب مدرس ( محمد تقی زاده )

تمامی پرسش های پایتونی و سوالات دوره از بخش نظرات توسط مدرس پاسخ داده میشود.

مزایای خرید دوره :

  • تمامی آموزش ها 3 ماه بعد از انتشار دوره دارای پشتیانی تخصصی توسط مدرس هستند.
  • چنانچه سورس و فایل های جانبی برای دوره موجود باشد، همراه با لینک های آموزش در اختیار شما قرار می گیرد.
  • با تهیه این دوره آموزشی، محتوای ارزشمند برای ورود به بازار کار را به قیمت ناچیزی در اختیار دارید.
  • ویدئو های آموزشی توسط واحد کنترل کیفیت ما بررسی و سطح علمی ، صدا و تصویر ، شیوه بیان و سایر موارد آن تایید می شود.
  • ویدئو های آموزشی ما در حد نیاز به مباحث تئوری می پردازد و بیشتر آموزش به صورت عملی و متناسب با بازار کار می باشد.
  • بلافاصله پس از ثبت سفارش لینک دانلود برای شما فعال شده و به ایمیلتان ارسال میگردد. همچنین در صورت انتخاب گزینه پستی مراحل ارسال مرسوله از طریق ایمیل به اطلاع شما میرسد.
  • کیفیت تمامی دوره های سایت تضمین شده است. در صورت عدم رضایت از آموزش، به انتخاب شما یا به صورت رایگان یک یا چند آموزش معادل دیگر دریافت می کنید و یا ۷۰ درصد مبلغ پرداختی به کیف پول شما بازگشت داده می شود.

scrapy چیست؟

Scrapy یک فریمورک متن‌باز (open-source) برای استخراج داده‌ها از وب‌سایت‌ها و وب‌اسکرپینگ (web scraping) در زبان برنامه‌نویسی پایتون است. این فریمورک به ویژه برای پروژه‌های بزرگ و پیچیده وب‌اسکرپینگ طراحی شده و قابلیت‌های متعددی برای جمع‌آوری و پردازش داده‌ها فراهم می‌آورد. برخی از ویژگی‌ها و قابلیت‌های کلیدی Scrapy عبارتند از:

مدیریت درخواست‌ها و پاسخ‌ها

Scrapy به شما این امکان را می‌دهد که به راحتی درخواست‌های HTTP به وب‌سایت‌ها ارسال کرده و پاسخ‌های دریافتی را پردازش کنید. این کار شامل ارسال درخواست‌های GET و POST، مدیریت کوکی‌ها، و پردازش هدرها می‌شود.

استخراج داده‌ها و مدیریت و ذخیره آنها

با استفاده از Scrapy، می‌توانید داده‌ها را از صفحات وب استخراج کنید. این فریمورک ابزارهای قدرتمندی برای استخراج اطلاعات از HTML، XML، JSON و دیگر فرمت‌های داده فراهم می‌آورد. شما می‌توانید داده‌ها را با استفاده از انتخابگرهای CSS یا XPath استخراج کنید.

علاوه بر این، می توانید داده‌های استخراج شده با استفاده از Scrapy را به فرمت‌های مختلفی مانند CSV، JSON، یا XML ذخیره کنید. همچنین می‌توانید داده‌ها را مستقیماً در پایگاه‌های داده مانند MongoDB، PostgreSQL، یا MySQL ذخیره کنید.

مدیریت لینک‌ها و ناوبری

Scrapy قابلیت دنبال کردن لینک‌ها و پیمایش خودکار بین صفحات مختلف یک وب‌سایت را دارد. این ویژگی برای استخراج داده‌ها از سایت‌های بزرگ با ساختار پیچیده بسیار مفید است.

پشتیبانی از چندین درخواست همزمان

Scrapy به صورت پیش‌فرض از قابلیت‌های همزمانی (concurrency) و پردازش موازی (parallel processing) پشتیبانی می‌کند که به افزایش کارایی و سرعت استخراج داده‌ها کمک می‌کند.

پشتیبانی از پروکسی و شبیه‌سازی مرورگر

Scrapy می‌تواند از پروکسی‌های مختلف برای مخفی کردن هویت و جلوگیری از بلاک شدن توسط وب‌سایت‌ها استفاده کند. همچنین می‌توان از ابزارهایی مانند Selenium برای شبیه‌سازی مرورگرها استفاده کرد.

قابلیت توسعه و سفارشی‌سازی

Scrapy به راحتی قابل توسعه و سفارشی‌سازی است. شما می‌توانید با ایجاد اسپایدرهای (spiders) مختلف و افزودن middlewares و pipelines، عملکرد فریمورک را مطابق با نیازهای خاص خود تغییر دهید.