%40 تخفیف  برای خرید  مسیرهای یادگیری

logo mix

آموزش Cloud Hadoop: پیمایش آپاچی اسپارک (با زیرنویس فارسی AI)
Cloud Hadoop: Scaling Apache Spark
کد محصول: FL5436-2817066
لیندا _ آموزش Cloud Hadoop: پیمایش آپاچی اسپارک (با زیرنویس فارسی AI) - Lynda _ Cloud Hadoop: Scaling Apache Spark
سطح مقدماتی
زیرنویس انگلیسی
زیرنویس فارسی AI
96,000 تومان
اضافه به سبد خرید add_shopping_cart
تولید کننده محتوا
Lynda.com (Linkedin Learning)
تولید کننده زیرنویس فارسی
فارسی لینـدا FarsiLynda.com
مدرس
Lynn Langit - لین لانگیت
تاریخ انتشار
1399/1/13
2020-04-01
سطح آموزش
مقدماتی
زبان آموزش
انگلیسی
زیرنویس
فارسی و انگلیسی
نوع زیرنویس فارسی
ترجمه شده توسط هوش مصنوعی (AI)
مدت زمان آموزش
3ساعت و 13دقیقه
تعداد ویدیو‌ها
52 ویدیو
حجم فایل‌ها
480 مگابایت (دانلود با تعرفه داخلی)
زمان تقریبی دانلود فایل‌ها
8 دقیقه (با سرعت اینترنت 1 مگابایت در ثانیه)
تعداد بازدید : 7549
درباره تولید کننده

lynda1

 

Lynda Weinman

بسیاری لیندا واینمن را "مادر آموزش اینترنتی" لقب داده اند. وی که هم اکنون (2016) ۶۰ سال سن دارد در ۱۹۹۵ سایتی را راه اندازی کرد که به عنوان منبعی رایگان برای دانش آموزان محسوب می شد. طی آن دوران لیندا به صورت خودآموز در حال یادگیری طراحی وب بود و تلاش داشت تا آموخته هایش را با سایرین نیز به اشتراک بگذارد. هر چند این روزها مسئله یاد شده امری عادی به حساب می آید اما در اواسط دهه نود -روزگاری که هنوز یوتیوبی نبود- یادگیری طراحی وب به صورت خودجوش چندان مسئله رایجی محسوب نمی گشت.

اشتیاق آن روزهای لیندا در یادگیری ، حالا به لطف وب سایت و سرویسی هایی همانند آنچه خود او راه اندازی کرده به میلیون ها نفر دیگر در سراسر دنیا نیز سرایت نموده و آنها می توانند با اندک هزینه ای و در هر جا و مکانی آنچه که دوست دارند را فرا بگیرند.
ناگفته نماند که پیدا کردن مسیر صحیح کسب و کار، حتی برای لیندا واینمن نیز بدون فراز و نشیب نبوده و وی هم مانند هر فرد موفق دیگری در راه رسیدن به پیروزی پستی و بلندی های بسیاری را از سر گذرانده.

درک نیازی که هیچکس به آن پاسخ نداده بود

وقتی در سال ۱۹۹۳ واینمن طراحی وب را اندک اندک فرا گرفته و قصد آموزش دادن آن را پیدا کرد، ابتدا به کتاب فروشی مراجع نمود و سعی کرد کتابی را به عنوان مرجع انتخاب و از روی آن به دانش آموزان خود درس بدهد. اما وی متوجه شد کتاب فروشی ها و کتابخانه ها تنها راهنماهایی بسیار فنی و پیچیده را ارائه می نمایند که درک شان برای افراد معمولی و با دانش متوسط تقریباً غیر ممکن محسوب می شود.

لیندا واینمن میگوید: به یاد می آورم که با خود فکر کردم شاید چنین کتابی هنوز وجود ندارد. بلافاصله از کتاب فروشی به خانه رفتم و ایده ی اولیه نوشتن آن را پیاده سازی کردم.

کمی بعد کتاب "طراحی گرافیک های تحت وب" که به باور بسیاری اولین کتاب ساده و قابل درک توسط عموم در رابطه با حرفه طراحی وب بود، توسط افراد بسیاری در سراسر دنیا به عنوان یک مرجع غیر فنی مورد استفاده قرار می گرفت و محبوبیتی غیر قابل باور به دست آورده بود.

درست در همان زمان و در سال ۱۹۹۵ واینمن آدرس ایمیل فردی را مشاهده نمود که به صورت debbie@debbie.com بود و مشتاق شد بداند آیا دامنه ی لیندا نیز برای ثبت کردن در دسترس قرار دارد یا خیر. وی این دامنه را خریداری و وبسایتی تحت آن راه انداخت تا از طریقش بتواند با دانش آموزان و همچنین خوانندگان کتاب خود ارتباط برقرار نماید.

lynda2

شروعی کوچک و توسعه ای آهسته و پیوسته

بعد از موفقیت کتاب واینمن همسر او، بروس هون (Bruce Heavin)، که در اصل موسس کمپانی لیندا نیز محسوب می شود، پیشنهاد داد در طول تعطیلات بهاره یکی از سالن های کامپیوتر دانشگاهی را اجاره نموده و در آن به مدت یک هفته دوره آموزش طراحی وب برگزار نمایند.
آنها این ایده را عملی کردند و سپس به منظور جذب افراد علاقه مند بنر تبلیغاتی را روی سایت لیندا قرار دادند. نه تنها ظرفیت کلاس یاد شده بسیار سریع پر گشت، بلکه افراد از گوشه و کنار دنیا و حتی مثلاً شهر وین برای حضور در آن ثبت نام نمودند.

اینکه تنها یک بنر در سایت خود قرار دهیم و سپس مردم از سراسر دنیا برای حضور در کلاس مان ثبت نام نمایند، باعث شده بود تا شوکه شویم.
آن کارگاه های یک هفته ای بسیار زود باعث شدند تا کسب و کار امروزی لیندا و همسرش پایه گذاری گردد. واینمن از درآمد حق امتیاز کتاب خود با ارزش ۲۰ هزار دلار استفاده کرد و مدرسه طراحی وبی را راه اندازی نمود که دوره هایش در هر ماه به سرعت پیش فروش شده و ظرفیت شان تکمیل می گشت. لیندا می گوید: "مشتریان زیادی وجود داشتند که مجبور بودیم به آنها نه بگوییم، زیرا ظرفیتی برای پذیرش شان وجود نداشت".

اوج گیری پس از بحران

کسب و کار لیندا پس از چند سال توانست ۳۵ فرصت شغلی را ایجاد و درآمدی ۳.۵ میلیون دلاری را فراهم کند. اما در سال ۲۰۰۱ و پس از انفجار حباب دات کام و حوادث مرتبط به یازده سپتامبر، تمایل افراد به یادگیری دروس طراحی وب کاهشی عجیب پیدا کرد، تا جایی که واینمن و همسرش در ادامه دادن مسیر مردد شده بودند.

کمپانی آنها دچار بحرانی جدی گشت، واینمن و هون ۷۵ درصد کارمندان خود را اخراج کردند و تنها ۹ نفر در استخدام شان باقی ماند. دفتر و مقر برگزاری دوره های لیندا نیز کوچک تر گشت و سعی را بر این گذاشتند تا واحد هایی با قیمت ارزان تر اجاره نمایند.

روز های سیاهی بود و حتی خودم تردید داشتم که می توانیم این کسب و کار را ادامه دهیم یا خیر.

خود واینمن در مورد آن ایام می گوید: "همه در حال نبرد برای بقا بودند و سعی می کردند سر خود را بالای آب نگه دارند. ما نیز وضعیتی مشابه را تجربه می کردیم و در نهایت درست همین زمان بود که تصمیم گرفتیم خدمات خود را به صورت کاملاً آنلاین ارائه نماییم."

روزگاری که ایده یاد شده شکل گرفت و سپس عملی گشت (ارائه خدمات به صورت آنلاین) تماشای فیلم بر روی کامپیوترها تازه در حال رواج یافتن بود. لیندا دات کام تصمیم گرفت در ازای سرویسی که ارائه می کند هزینه حق اشتراکی ۲۵ دلاری را به صورت ماهیانه دریافت نماید.

افراد اندکی از این راهکار استقبال کردند. واینمن می گوید: "درآمد مان به شدت افت کرده بود. روز های سیاهی بود و حتی خودم تردید داشتم که می توانیم این کسب و کار را ادامه دهیم یا خیر."

با تنها ۱۰۰۰ نفر پرداخت کننده حق اشتراک ماهیانه، بقای کمپانی به نظر بسیار سخت می رسید. ایجاد یک جامعه ی آنلاین زمان بر است و لیندا به خود امید می داد که آنها مسیر شان را عوض نکرده اند بلکه راهی تازه را شروع نموده اند پس باید صبر پیشه کنند. او توضیح می دهد که "همه چیز بسیار آهسته پیش رفت. ولی کم کم پرداخت حق اشتراک ماهیانه آنلاین رواج پیدا کرد و مقدار آن هر ساله چندین برابر شد".

در ۲۰۰۶ تعداد مشترکین به ۱۰۰.۰۰۰ نفر رسید و واینمن و همسرش ۱۵۰ کارمند خود را به همراه خانواده هایشان به دیزنی لند بردند تا موفقیت بزرگی که رقم خورده بود را جشن بگیرند.

lynda4

ایجاد فرهنگ سازمانی مناسب در زمان رشد

اینکه اعضا و کارمندان شرکت همانند یک خانواده با یکدیگر در تعامل باشند همواره برای لیندا حائز اهمیت بوده و او حتی همیشه تلاش داشته تا افراد تحت استخدام خود را با اسم کوچک بشناسد و صدا بزند. ولی رشد سریع کمپانی و رسیدن تعداد کارمندان به عدد ۵۰۰، رفته رفته چالش هایی تازه را پدید می آورد و سبب می گردد واینمن در ایده آل های خود بازنگری نماید.

وی می گوید: "چالش اصلی بر سر تعیین سمت و مقام افراد بود. اینکه با هر کس چه برخوردی باید صورت بگیرد. همه ی کسانی که رشدی سریع را در شرکت خود تجربه کرده اند می دانند که ایجاد سلسله مراتب تا چه حد اهمیت دارد."

در ۲۰۰۷ تصمیم بر این شد تا یک مدیرعامل جهت اداره ی بهتر مجموعه به آن اضافه گردد. به گفته ی خود لیندا "درست در همان زمان بود که او تصمیم گرفت در رفتارها و برخوردهای خود سیاست بیشتری داشته و بروکراتیک تر عمل نماید".

ایجاد فرهنگ سازمانی برای شرکتی با بیش از ۵۰۰ کارمند کاری بسیار دشوار خواهد بود ولی حتی آنچه از این مسئله نیز دشوارتر به حساب می آید پایه ریزی درست و مطابقت دادن افراد با فرهنگ یاد شده است. اینکار در زمانی که یک شرکت نوپا و کوچک محسوب می شود چندان سخت نیست و شاید ضروری هم نباشد ولی با رشد آن صورت پذیرفتنش الزام می یابد.

 پیش به سوی موفقیت

مدتی است که بسیاری تصور می کنند دوره های آموزش ویدئویی می توانند آینده آموزش به حساب بیایند.

در طی سال های اخیر کمپانی واینمن توسط افراد گوناگونی که در حرفه ی خود بهترین هستند دوره های آنلاین متعددی را ایجاد نموده و سعی کرده نشان دهد این دوره های آنلاین راه و روش یادگیری را برای همیشه متحول کرده اند.

لیندا دات کام قالبی معین و کارآمد را برای دوره های آموزشی اش پدید آورده و سپس کوشش کرده تا از نظر موضوعی نیز در بین مطالب مورد تدریس خود تنوع ایجاد نماید. روزگاری در وب سایت مورد بحث تنها ۲۰ دوره آموزش ویدئویی آنلاین وجود داشت، اما اکنون این رقم به ۶۳۰۰ رسیده که شامل ۲۶۷.۰۰۰ ویدئوی آموزشی می گردد.

ارائه ی کتابخانه ای ویدئویی به جای اینکه از افراد درخواست شود تا در دوره هایی مشخص با روال معمول و پیوسته شرکت نمایند، عاملی بوده که سبب گشته شیوه ی آموزشی لیندا دات کام نسبت به سایرین کاملاً متفاوت گردد.

واینمن می گوید: "مدتی است که بسیاری تصور می کنند دوره های آموزش ویدئویی می توانند آینده آموزش به حساب بیایند. ما به خاطر همین تفاوت مان مورد توجه قرار داشته و تحت نظر سایرین هستیم".

lynda6

فروش به لینکدین Linked in

من به شخصه بر روی اثری که از همکاری دو کمپانی با یکدیگر پدید می آید متمرکز هستم.

واینمن زمانی که متوجه می شود لینکدین قصد خرید کمپانی اش را دارد، در ابتدا شوکه می گردد. او و همسرش هرگز به دنبال فروش شرکت خود و یافتن مشتری برای آن نبوده اند و البته در سن ۶۰ سالگی وی هنوز هم احساس می نموده که برای بازنشستگی بسیار زود است.

اما رفته رفته به این نتیجه می رسند که این فروش و ادغام دو کمپانی با یکدیگر احتمالاً امری منطقی و موثر خواهد بود. هر دو شرکت به نوعی تلاش داشته اند به افراد کمک کنند تا وضعیت شغلی خود را بهبود بخشند و احتمالاً در کنار یکدیگر بسیار بهتر از گذشته می توانند این هدف را محقق کنند.

واینمن می گوید: "بسیاری از مردم بر روی رقم معامله صورت پذیرفته تمرکز دارند و شاید این مسئله برای افرادی که با صنعت ما آشنا نیستند یک شگفتی محسوب شود. ولی خود من به شخصه بر روی اثری که از همکاری دو کمپانی با یکدیگر پدید می آید متمرکز هستم و اولین چیزی که در رابطه با این موضوع به ذهنم می رسد، میزان بزرگی این اثرگذاری است."

به نظر می آید حتی لیندا واینمن هم از موفقیت خودش شگفت زده است و تصور چنین روزی را نداشته. بر خلاف بسیاری از بنیانگذاران کمپانی ها مهم تکنولوژیک امروزی ، وی با هدف کسب درآمد های کلان شروع به کار نکرده و قصد اولیه اش هرگز ایجاد کمپانی نبوده که توسط لینکدین به ارزش ۱.۵ میلیارد دلار خریداری شد. او تنها سعی داشته آنچه که برای خودش جذاب بوده، یعنی طراحی وب را به سایرین نیز بیاموزد.

واینمن که بر حسب اتفاق بدل به یک معلم گشته، می گوید: "من نه چندان گنگ بودم و نه به آن صورت خوره ی دنیای تکنولوژی. افراد زیادی پیش من می آمدند و می پرسیدند چگونه این کار را انجام می دهی؟ یا چگونه آن کار را انجام می دهی؟ هرگز با خودم فکر نکرده بودم به اشتراک گذاشتن دانش در رابطه با آنچه که برایت جالب است، در واقع همان تدریس کردن محسوب می شود."

در حالکیه لیندا اعتقاد دارد تنها در زمان و مکان مناسبی حضور داشته، سخت است بدل شدن یک دامنه ی ۳۵ دلاری به کسب و کاری ۱.۵ میلیارد دلاری را حاصل یک اتفاق بدانیم.

فارسی لیندا

آپاچی Hadoop و Spark امکان تولید بینش تجاری واقعی از داده‌های بزرگ را فراهم می‌کنند. Amazon cloud خانه طبیعی برای این مجموعه ابزار قدرتمند است و خدمات مختلفی را برای اجرای گردش‌های پردازش داده در مقیاس بزرگ ارائه می‌دهد. بیاموزید که در این دوره گردشهای کاری Apache Hadoop و Spark خود را در AWS پیاده‌سازی کنید با معمار بزرگ داده Lynn Langit. گزینه‌های استقرار کارها با مقیاس تولید را با استفاده از ماشین‌های مجازی با EC2، خوشه‌های اسپارک مدیریت شده با EMR یا ظروف دارای EKS کاوش کنید. بیاموزید چگونه پیکربندی و مدیریت خوشه‌های Hadoop و Spark کارها با Databricks را انجام داده و از پایتون یا زبان برنامه نویسی مورد نظر خود برای وارد کردن داده و اجرای کارها استفاده کنید. بعلاوه، یاد بگیرید که چگونه از کتابخانه‌های Spark برای یادگیری ماشین، genomics و streaming استفاده کنید. هر درس به شما کمک می‌کند تا بفهمید که کدام گزینه استقرار برای بار کاری شما بهترین است.

سطح آموزشی
خرید آنلاین و دانلود فوری
به همراه فایلهای تمرین
ویدئوهای آموزشی با زیرنویس
ویدئوهای آموزشی با زیرنویس فارسی
کیفیت HD ویدئوهای آموزشی
قابل استفاده برای ناشنوایان
 
 
 

نمونه ویدیوی آموزشی ( فایلهای زیر نویس جدا از فیلم است و میتوانید آنرا نمایش ندهید ) :

 

00 مقدمه
 _ | 00_01 پوسته پوسته شدن Apache Hadoop و Spark
 _ | 00_02 آنچه باید بدانید
 _ | 00_03 با استفاده از خدمات ابری

 01 اصول Hadoop و Spark
 _ | 01_01 مدرن Hadoop و Spark
 _ | 01_02 سیستم‌های فایل مورد استفاده با Hadoop و Spark
 _ | 01_03 دزدگیرهای Apache یا Hadoop تجاری
 _ | 01_04 کتابخانه Hadoop و Spark
 _ | 01_05 Hadoop در Google Cloud Platform
 _ | 01_06 Spark در Google Cloud Platform

 02 محیط Spark Spark AWS
 _ | 02_01 برای نسخه عمومی Databricks ثبت نام کنید
 _ | 02_02 کتابخانه‌های Hadoop را اضافه کنید
 _ | 02_03 Databricks AWS Edition Community
 _ | 02_04 بارگذاری داده‌ها به جداول
 _ | 02_05 خوشه Hadoop و Spark در AWS EMR
 _ | 02_06 Spark کار را در AWS EMR اجرا کنید
 _ | 02_07 بررسی معماری دسته‌ای برای ETL در AWS

 03 مبانی Spark
 _ | 03_01 کتابخانه‌های اسپارک Spark
 _ | 03_02 رابط داده‌های Spark
 _ | 03_03 زبان برنامه نویسی خود را انتخاب کنید
 _ | 03_04 اشیاء جلسه Spark
 _ | 03_05 پوسته Spark

 04 استفاده از Spark
 _ | 04_01 در محیط Databricks گشت و گذار کنید
 _ | 04_02 تور نوت بوک
 _ | 04_03 نوت بوک‌های وارداتی و صادراتی
 _ | 04_04 Pi را روی Spark محاسبه کنید
 _ | 04_05 اجرای WordCount of Spark with Scala
 _ | 04_06 وارد کردن داده ها
 _ | 04_07 تحولات و اقدامات
 _ | 04_08 ذخیره‌سازی و DAG
 _ | 04_09 معماری: جریان برای پیش بینی

 05 کتابخانه Spark
 _ | 05_01 Spark SQL
 _ | 05_02 SparkR
 _ | 05_03 Spark ML: تهیه داده ها
 _ | 05_04 Spark ML: ساختن مدل
 _ | 05_05 Spark ML: ارزیابی مدل
 _ | 05_06 یادگیری ماشین پیشرفته در Spark
 _ | 05_07 MXNet
 _ | 05_08 Spark با ADAM برای ژنومیک
 _ | 05_09 معماری جرقه برای ژنومیک

 06 جریان Spark
 _ | 06_01 بررسی مجدد جریان pipelines
 _ | 06_02 جریان Spark
 _ | 06_03 پخش جریان مصرف خدمات
 _ | 06_04 جرقه پیشرفته جرقه با MLeap

 07 مقیاس گذاری Spark در AWS و GCP
 _ | 07_01 مقیاس بارقه روی ابر را به عنوان مثال
 _ | 07_02 با Databricks AWS یک شروع سریع بسازید
 _ | 07_03 مقیاس ابر Spark با VMs محاسبه می‌کند
 _ | 07_04 بهینه‌سازی دستگاه‌های مجازی Spark
 _ | 07_05 از ظروف و داده‌های AWS EKS استفاده کنید
 _ | 07_06 لایه‌های داده ابر Spark را در Kubernetes بهینه کنید
 _ | 07_07 ساخت زیرساخت‌های ابر قابل تکرار
 _ | 07_08 مقیاس در GCP Dataproc یا Terra.bio

 08 نتیجه گیری
 _ | 08_01 یادگیری برای مقیاس گذاری را ادامه دهید

00 Introduction
_ 00_01 Scaling Apache Hadoop and Spark
_ 00_02 What you should know
_ 00_03 Using cloud services

01 Hadoop and Spark Fundamentals
_ 01_01 Modern Hadoop and Spark
_ 01_02 File systems used with Hadoop and Spark
_ 01_03 Apache or commercial Hadoop distros
_ 01_04 Hadoop and Spark libraries
_ 01_05 Hadoop on Google Cloud Platform
_ 01_06 Spark Job on Google Cloud Platform

02 AWS Cloud Spark Environments
_ 02_01 Sign up for Databricks Community Edition
_ 02_02 Add Hadoop libraries
_ 02_03 Databricks AWS Community Edition
_ 02_04 Load data into tables
_ 02_05 Hadoop and Spark cluster on AWS EMR
_ 02_06 Run Spark job on AWS EMR
_ 02_07 Review batch architecture for ETL on AWS

03 Spark Basics
_ 03_01 Apache Spark libraries
_ 03_02 Spark data interfaces
_ 03_03 Select your programming language
_ 03_04 Spark session objects
_ 03_05 Spark shell

04 Using Spark
_ 04_01 Tour the Databricks Environment
_ 04_02 Tour the notebook
_ 04_03 Import and export notebooks
_ 04_04 Calculate Pi on Spark
_ 04_05 Run WordCount of Spark with Scala
_ 04_06 Import data
_ 04_07 Transformations and actions
_ 04_08 Caching and the DAG
_ 04_09 Architecture; Streaming for prediction

05 Spark Libraries
_ 05_01 Spark SQL
_ 05_02 SparkR
_ 05_03 Spark ML; Preparing data
_ 05_04 Spark ML; Building the model
_ 05_05 Spark ML; Evaluating the model
_ 05_06 Advanced machine learning on Spark
_ 05_07 MXNet
_ 05_08 Spark with ADAM for genomics
_ 05_09 Spark architecture for genomics

06 Spark Streaming
_ 06_01 Reexamine streaming pipelines
_ 06_02 Spark Streaming
_ 06_03 Streaming ingest services
_ 06_04 Advanced Spark Streaming with MLeap

07 Scaling Spark on AWS and GCP
_ 07_01 Scale Spark on the cloud by example
_ 07_02 Build a quick start with Databricks AWS
_ 07_03 Scale Spark cloud compute with VMs
_ 07_04 Optimize cloud Spark virtual machines
_ 07_05 Use AWS EKS containers and data lake
_ 07_06 Optimize Spark cloud data tiers on Kubernetes
_ 07_07 Build reproducible cloud infrastructure
_ 07_08 Scale on GCP Dataproc or on Terra.bio

08 Conclusion
_ 08_01 Continue learning for scaling

 

مدرس: Lynn Langit - لین لانگیت

تعداد دوره های آموزشی: 31

لین لانگیت یک معمار و توسعه دهنده Cloud است که راه حل هایی را با خدمات وب (Amazon (AWS و (Google Cloud Platform (GCP ایجاد می کند. او متخصص پروژه های داده های بزرگ (big data) است. لین با AWS Athena، Aurora، Redshift، Kinesis و IoT کار کرده است. او همچنین کار تولید با Databricks برای Apache Spark و Google Cloud Dataproc، Bigtable، BigQuery و Cloud Spanner انجام داده است. لین همچنین مؤسس آموزش برنامه نویسی برای کودکان (Teaching Kids Programming) است. او در زمینه فناوری اطلاعات و Cloud در آمریکای شمالی و جنوبی، اروپا، آفریقا، آسیا و استرالیا سخنرانی کرده است.

جدیدترین آموزشهای مرتبط

تمامی زیرنویس‌های فارسی و مطالب ترجمه شده در سایت، بطور انحصاری متعلق به فارسی لینـدا بوده و هر گونه کپی‌ برداری و یا استفاده از آنها به هر شکلی در سایتها یا برنامه‌های دیگر پیگرد قانونی دارد
logo-samandehi
فارسی کلاس