مسیر شغلی مهندس داده
مسیر شغلی مهندس داده؛ وقتی داده زیاد می‌شود، دیگر فقط تحلیل‌کردن کافی نیست!
داده را تحلیل می‌کنید، اما یک سؤال مهم باقی می‌ماند:
چه کسی باید کاری کند که این داده اصلاً به‌موقع، سالم و قابل استفاده به دست تحلیلگر و سازمان برسد؟
اینجا دقیقاً جایی است که مهندس داده وارد می‌شود.
در بسیاری از سازمان‌ها، داده از منابع مختلف تولید می‌شود؛ سیستم‌های فروش، وب‌سایت‌ها، اپلیکیشن‌ها، پایگاه‌های داده، سامانه‌های مالی و ده‌ها منبع دیگر. این داده‌ها باید جمع‌آوری، منتقل، پاک‌سازی، تبدیل، ذخیره و برای استفاده تیم‌های مختلف آماده شوند.
وظیفه اصلی مهندس داده، ساخت و نگهداری همین زیرساخت‌ها و جریان‌های داده است.
به همین دلیل، مهندس داده صرفاً یک برنامه‌نویس یا متخصص پایگاه داده نیست. او باید بتواند داده را در مقیاس بالا جابه‌جا کند، Pipelineهای داده بسازد، فرآیندهای ETL و ELT را طراحی کند، با انبارهای داده کار کند و در سطوح پیشرفته‌تر، زیرساخت‌های داده ابری و جریان‌های داده لحظه‌ای را مدیریت کند.
مسیر شغلی مهندس داده نیز به همین دلیل از چند مرحله تشکیل می‌شود و هر مرحله پایه‌ای برای مرحله بعد ایجاد می‌کند.
مسیر شغلی مهندس داده از کجا شروع می‌شود؟
مسیر پیشنهادی برای رسیدن به موقعیت شغلی مهندس داده را می‌توان به شکل زیر در نظر گرفت:
Excel برای تحلیل داده
↓
Power Query و زبان M
↓
الگوریتم و برنامه‌نویسی با Python
↓
تحلیل داده با Python
↓
SQL Server جامع و کاربردی
↓
انبار داده جامع و کاربردی
↓
مهندسی داده
↓
مهندسی داده ابری
↓
مهندسی داده جریانی و Kafka
↓
ورود به بازار کار مهندسی داده
۱. اکسل برای تحلیل داده؛ آشنایی با منطق داده
شاید در نگاه اول Excel ارتباط مستقیمی با مهندسی داده نداشته باشد، اما شروع مسیر با آن می‌تواند درک مناسبی از ساختار داده و نحوه کار با اطلاعات ایجاد کند.
در این مرحله، فرد با داده‌های جدولی، انواع اطلاعات، مرتب‌سازی و فیلتر، توابع، Pivot Table، نمودارها و روش‌های اولیه پاک‌سازی و بررسی داده آشنا می‌شود.
هدف از این مرحله تبدیل‌شدن به متخصص Excel نیست؛ بلکه ایجاد یک درک پایه از داده و نحوه کار با آن است.
۲. پاور کوئری و زبان M؛ آماده‌سازی و تبدیل داده
داده خام معمولاً مستقیماً قابل استفاده نیست.
در Power Query، فرد با فرآیند دریافت، پاک‌سازی، تبدیل و ترکیب داده‌ها آشنا می‌شود و یاد می‌گیرد چگونه داده‌های مختلف را برای استفاده در فرآیندهای تحلیلی آماده کند.
یادگیری زبان M نیز امکان کنترل و توسعه بیشتر عملیات تبدیل داده را فراهم می‌کند.
این مرحله، ذهنیت مهمی را برای ادامه مسیر ایجاد می‌کند: داده باید قبل از مصرف، به شکل درست آماده و استاندارد شود.
۳. الگوریتم و برنامه‌نویسی با Python؛ پایه برنامه‌نویسی مهندس داده
در مسیر مهندسی داده، Python یکی از مهارت‌های مهم برنامه‌نویسی است.
اما پیش از ورود به ساخت Pipeline و پردازش داده، فرد باید منطق برنامه‌نویسی را یاد بگیرد.
در دوره الگوریتم و برنامه‌نویسی با Python، مفاهیمی مانند متغیرها، ساختارهای داده، شرط‌ها، حلقه‌ها، توابع، الگوریتم و حل مسئله آموزش داده می‌شوند.
این مرحله پایه‌ای است که بعداً مهندس داده از آن برای نوشتن اسکریپت‌ها، پردازش داده، اتوماسیون و ساخت فرآیندهای داده استفاده خواهد کرد.
۴. تحلیل داده با Python؛ شناخت بهتر داده و پردازش آن
مهندس داده الزاماً تحلیلگر داده نیست، اما باید داده‌ای را که با آن کار می‌کند به‌خوبی بشناسد.
در دوره تحلیل داده با Python، فرد با مفاهیمی مانند DataFrame، پاک‌سازی داده، تبدیل داده، ترکیب داده‌ها، تحلیل اکتشافی داده و کار با داده‌های مختلف آشنا می‌شود.
این دانش کمک می‌کند مهندس داده بهتر درک کند داده‌ای که وارد Pipeline می‌شود چه ساختاری دارد، چه مشکلاتی ممکن است داشته باشد و خروجی موردنیاز مصرف‌کننده داده چگونه باید آماده شود.
در واقع، این مرحله فاصله میان «برنامه‌نویسی» و «کار حرفه‌ای با داده» را کمتر می‌کند.
۵. SQL Server جامع و کاربردی؛ زبان ارتباط با پایگاه داده
تقریباً هر مهندس داده حرفه‌ای باید SQL را به‌خوبی بداند.
داده‌های سازمانی معمولاً در پایگاه‌های داده ذخیره می‌شوند و مهندس داده باید بتواند داده را استخراج، ترکیب، فیلتر و پردازش کند.
در SQL Server جامع و کاربردی، مفاهیمی مانند Query نویسی، Filtering، Sorting، Aggregation، GROUP BY، JOIN، Subquery، CASE و سایر قابلیت‌های کاربردی SQL مطرح می‌شوند.
SQL برای مهندس داده فقط یک ابزار گزارش‌گیری نیست؛ یکی از ابزارهای اصلی برای ساخت و بررسی فرآیندهای داده، کار با جداول و انتقال داده میان بخش‌های مختلف زیرساخت داده است.
هرچه حجم داده و پیچیدگی سیستم بیشتر شود، تسلط بر SQL اهمیت بیشتری پیدا می‌کند.
۶. انبار داده جامع و کاربردی؛ سازمان‌دهی داده برای استفاده در مقیاس سازمانی
بعد از یادگیری برنامه‌نویسی و SQL، نوبت به شناخت معماری و ساختارهای داده سازمانی می‌رسد.
در سازمان‌های بزرگ، داده‌ها از منابع مختلف تولید می‌شوند و باید در ساختاری مناسب برای تحلیل و استفاده سازمانی قرار بگیرند.
انبار داده یا Data Warehouse یکی از اجزای مهم این معماری است.
در این مرحله، فرد با مفاهیمی مانند معماری انبار داده، ETL و ELT، Fact و Dimension، مدل‌سازی داده، ساختارهای ذخیره‌سازی و فرآیند انتقال و تبدیل داده آشنا می‌شود.
این دانش، پایه بسیار مهمی برای ورود به مهندسی داده حرفه‌ای است.
۷. مهندسی داده؛ ساخت Pipeline و زیرساخت داده
در این مرحله، فرد وارد هسته اصلی تخصص مهندسی داده می‌شود.
مهندس داده باید بتواند Pipelineهای داده را طراحی و پیاده‌سازی کند؛ یعنی مشخص کند داده از کجا دریافت شود، چه مراحلی روی آن انجام شود، کجا ذخیره شود و چگونه در اختیار مصرف‌کنندگان قرار گیرد.
مفاهیمی مانند Data Pipeline، ETL و ELT، پردازش و انتقال داده، اتوماسیون فرآیندهای داده، زمان‌بندی Jobها، کنترل خطا، کیفیت داده و طراحی فرآیندهای قابل نگهداری از مباحث مهم این مرحله هستند.
در اینجا دیگر مسئله فقط «کار با داده» نیست؛ مسئله ساخت سیستمی است که بتواند داده را به شکل پایدار و قابل اعتماد جابه‌جا و پردازش کند.
۸. مهندسی داده ابری؛ آماده‌شدن برای زیرساخت‌های مدرن
بخش قابل‌توجهی از زیرساخت‌های داده مدرن روی Cloud اجرا می‌شوند.
به همین دلیل، مهندس داده‌ای که قصد دارد در پروژه‌های حرفه‌ای‌تر فعالیت کند، باید با معماری و سرویس‌های داده در محیط‌های ابری آشنا باشد.
در مهندسی داده ابری، مفاهیمی مانند ذخیره‌سازی ابری، پردازش داده در Cloud، سرویس‌های داده، طراحی Pipelineهای ابری، مقیاس‌پذیری، امنیت و مدیریت منابع مطرح می‌شوند.
این مرحله فرد را از کار با زیرساخت‌های صرفاً محلی به سمت معماری‌های مدرن و مقیاس‌پذیر داده هدایت می‌کند.
۹. مهندسی داده جریانی و Kafka؛ وقتی داده منتظر نمی‌ماند
همه داده‌ها قرار نیست یک‌بار در روز یا یک‌بار در ساعت پردازش شوند.
در بسیاری از سیستم‌های امروزی، داده باید تقریباً هم‌زمان با تولیدشدن پردازش و منتقل شود؛ برای مثال تراکنش‌های مالی، رویدادهای وب‌سایت، اطلاعات اپلیکیشن‌ها یا داده‌های سنسورها.
اینجاست که Streaming Data و Apache Kafka اهمیت پیدا می‌کنند.
در دوره مهندسی داده جریانی و Kafka، فرد با مفاهیم پردازش و انتقال جریان داده، معماری Streaming، Producer و Consumer، Topic، Partition و سایر مفاهیم کلیدی Kafka آشنا می‌شود.
این مهارت‌ها برای فعالیت در پروژه‌هایی که با حجم بالای داده‌های لحظه‌ای و سیستم‌های توزیع‌شده سروکار دارند، اهمیت زیادی دارند.
برای ورود به بازار کار مهندسی داده چه مهارت‌هایی باید داشته باشیم؟
در پایان این مسیر، یک مهندس داده باید بتواند:
• با Python برای پردازش و اتوماسیون داده برنامه‌نویسی کند.
• با SQL داده‌ها را از پایگاه‌های داده استخراج و پردازش کند.
• ساختار پایگاه داده و انبار داده را درک کند.
• فرآیندهای ETL و ELT را طراحی و پیاده‌سازی کند.
• Pipelineهای داده ایجاد و مدیریت کند.
• داده‌ها را از منابع مختلف دریافت و به مقصد مناسب منتقل کند.
• کیفیت و صحت داده را در فرآیندهای داده بررسی کند.
• فرآیندهای انتقال و پردازش داده را خودکار کند.
• با معماری و زیرساخت‌های داده در محیط Cloud کار کند.
• Pipelineهای داده ابری را طراحی و مدیریت کند.
• معماری Streaming Data را درک کند.
• با Apache Kafka و مفاهیم اصلی پردازش جریانی کار کند.
• مسائل مربوط به مقیاس‌پذیری، پایداری و قابلیت اطمینان سیستم‌های داده را درک کند.
پس از گذراندن این دوره‌ها، برای چه موقعیت‌های شغلی می‌توان رزومه ارسال کرد؟
پس از تسلط به این مهارت‌ها و انجام پروژه‌های عملی، فرد می‌تواند متناسب با سطح مهارت و تجربه خود برای موقعیت‌های شغلی مرتبط با مهندسی داده اقدام کند.
برخی از عنوان‌های شغلی مرتبط عبارت‌اند از:
• مهندس داده (Data Engineer)
• مهندس داده جونیور (Junior Data Engineer)
• توسعه‌دهنده Pipeline داده (Data Pipeline Developer)
• توسعه‌دهنده ETL / ETL Developer
• مهندس ETL و داده
• مهندس زیرساخت داده
• مهندس داده ابری (Cloud Data Engineer)
• مهندس داده Streaming
• مهندس Kafka
• توسعه‌دهنده سیستم‌های پردازش داده
• مهندس پلتفرم داده (Data Platform Engineer)
عنوان شغلی در شرکت‌های مختلف ممکن است متفاوت باشد و الزامات هر موقعیت نیز یکسان نیست. بنابراین گذراندن دوره‌ها به‌تنهایی تضمین‌کننده استخدام نیست؛ توانایی اجرای پروژه واقعی، تجربه کار با داده و تسلط عملی بر ابزارها نقش تعیین‌کننده‌ای در استخدام دارد.
آیا فقط گذراندن دوره‌ها برای ورود به بازار کار کافی است؟
خیر.هیچ شرکتی صرفاً به خاطر اینکه چند عنوان دوره در رزومه شما نوشته شده، یک زیرساخت داده را به دست شما نمی‌سپارد.
دوره‌ها دانش و مهارت اولیه را ایجاد می‌کنند، اما برای ورود جدی به بازار کار باید بتوانید این دانش را در پروژه به کار بگیرید.
برای مثال، می‌توانید یک پروژه واقعی طراحی کنید که در آن داده از یک یا چند منبع دریافت شود، با Python پردازش شود، با SQL در پایگاه داده ذخیره یا استخراج شود، در یک ساختار انبار داده قرار گیرد و سپس یک Pipeline برای انتقال و پردازش خودکار آن ایجاد شود.
در مراحل پیشرفته‌تر، می‌توان همین پروژه را به محیط Cloud منتقل کرد و بخشی از جریان داده را با Kafka به‌صورت Streaming پیاده‌سازی کرد.
چنین پروژه‌ای بسیار بیشتر از فهرستی از دوره‌ها می‌تواند توانایی واقعی شما را به کارفرما نشان دهد.
مسیر کامل یادگیری مهندسی داده
اگر بخواهیم مسیر را در یک نقشه ساده خلاصه کنیم:
۱. اکسل برای تحلیل داده
↓
۲. پاور کوئری و زبان M
↓
۳. الگوریتم و برنامه‌نویسی با پایتون
↓
۴. تحلیل داده با پایتون
↓
۵. SQL Server جامع و کاربردی
↓
۶. انبار داده جامع و کاربردی
↓
۷. مهندسی داده
↓
۸. مهندسی داده ابری
↓
۹. مهندسی داده جریانی و Kafka
↓
پروژه‌های عملی و Portfolio
↓
ورود به بازار کار مهندسی داده
جمع‌بندی
مهندس داده کسی نیست که فقط با Python یا SQL کار کند.
او مسئول ساخت بخشی از زیرساختی است که داده را از نقطه تولید به نقطه مصرف می‌رساند؛ داده‌ای که تحلیلگران، دانشمندان داده، تیم‌های محصول و مدیران برای تصمیم‌گیری به آن نیاز دارند.
به همین دلیل، مسیر شغلی مهندس داده از شناخت داده و یادگیری برنامه‌نویسی شروع می‌شود، با SQL و انبار داده ادامه پیدا می‌کند، در دوره مهندسی داده به ساخت Pipeline و زیرساخت داده می‌رسد و در سطوح پیشرفته‌تر با Cloud و Streaming به معماری‌های مدرن داده متصل می‌شود.
اگر این مسیر را مرحله‌به‌مرحله و همراه با پروژه‌های واقعی طی کنید، در پایان فقط مجموعه‌ای از ابزارها را یاد نگرفته‌اید؛ بلکه توانایی ساخت و مدیریت جریان داده را به دست آورده‌اید.
و این دقیقاً همان چیزی است که یک مهندس داده باید بلد باشد:
داده باید بتواند از نقطه تولید تا نقطه مصرف، سالم، قابل اعتماد و به‌موقع حرکت کند.
شروع مسیر یادگیری مهندسی داده
اگر قصد دارید مسیر مهندسی داده را به‌صورت مرحله‌به‌مرحله دنبال کنید، می‌توانید دوره‌های مرتبط با برنامه‌نویسی Python، تحلیل داده، SQL Server، انبار داده و دوره‌های تخصصی مهندسی داده را در صفحه دوره‌های آموزشی جهاد دانشگاهی تهران مشاهده کنید و متناسب با سطح فعلی خود، مسیر یادگیری را آغاز کنید.
برای مشاهده دوره‌های آموزشی مرتبط با مهندسی داده و سایر مهارت‌های موردنیاز بازار کار، به صفحه دوره‌های آموزشی سایت جهاد دانشگاهی تهران مراجعه کنید.