کارشناس ارشد مهندس داده

شرح وظایف:
طراحی، توسعه و نگهداری پایپ‌لاین‌های ETL برای استخراج، تبدیل و بارگذاری داده از منابع مختلف (بانکی، عملیاتی، سرویس‌های خارجی)
انجام فرآیندهای Data Ingestion (دریافت داده) شامل پردازش دسته‌ای (Batch) و نزدیک به بلادرنگ (Near-real-time)
پاک‌سازی، اعتبارسنجی، نرمال‌سازی و استانداردسازی داده‌ها در لایه Staging/Processed
محاسبه و به‌روزرسانی ویژگی‌های تحلیلی (Feature Engineering) با استفاده از SQL یا زبان‌های برنامه‌نویسی مرتبط
پیاده‌سازی منطق‌های QC و اعتبارسنجی داده (Data Validation & Quality Assurance)
همکاری نزدیک با تیم‌های مدل‌سازی، تحلیل‌گر داده و فناوری اطلاعات برای ارائه داده‌های قابل اتکا و مستند
نگهداری و مستندسازی pipelineهای ایجادشده و مشارکت در خودکارسازی وظایف داده‌ای
پایش جاب ها (Monitoring jobs)، شناسایی خطاها و بهبودهای مداوم در فرآیند ETL

شرایط احراز:
تجربه عملی در توسعه پایپ‌لاین داده با یکی از ابزارهای ETL (نظیر SSIS,  Airflow و …)
تسلط در کار با پایگاه داده رابطه‌ای (SQL Server, Oracle, PostgreSQL) و نگارش اسکریپت‌های SQL پیچیده
آشنایی با دیتالیک و معماری داده‌های سازمانی (Data Lake, Data Warehouse)
توانایی مستندسازی و ارتباط اثربخش با ذی‌نفعان کسب‌وکار و تیم‌های مختلف
تسلط نسبی به زبان‌های برنامه‌نویسی داده‌محور مانند Python امتیاز محسوب می‌شود
آشنایی با مفاهیم Data Governance و امنیت داده
تجربه در پاک‌سازی و پیش‌پردازش داده‌های حجیم؛ آشنایی با مفاهیم Feature Engineering یک مزیت محسوب می‌شود