Data Engineer

اهم وظایف:

طراحی، توسعه و نگهداری فرآیندهای ETL/ELT
دریافت و یکپارچه‌سازی داده از منابع مختلف شامل Database، API، فایل و ...
طراحی و توسعه لایه‌های Staging، Data Warehouse و Data Mart
طراحی و توسعه Fact و Dimension و رعایت اصول Dimensional Modeling
پیاده‌سازی فرآیندهای Incremental Load و مدیریت Insert/Update
ایجاد کنترل‌های Data Quality و Data Validation
شناسایی و رفع مغایرت‌های داده‌ای در فرآیندهای انتقال و پردازش
طراحی و پیاده‌سازی Logging، Error Handling و Monitoring برای فرآیندهای ETL
بهینه‌سازی Queryها و فرآیندهای پردازش داده
بررسی و بهبود Performance فرآیندهای ETL و Database
طراحی و مدیریت Jobهای انتقال و پردازش داده
مستندسازی Data Flow، فرآیندهای ETL و منطق انتقال داده
همکاری با BI Developer و Data Analyst در تامین داده مورد نیاز راهکارهای تحلیلی
بررسی منابع داده و ارائه راهکار مناسب برای انتقال و یکپارچه‌سازی آن‌ها
مشارکت در طراحی و توسعه معماری داده و زیرساخت BI

شایستگی‌ها:

تسلط به SQL و T-SQL
تجربه عملی با SQL Server
تسلط به مفاهیم ETL/ELT
تجربه کار با SSIS و ابزارهای مشابه
تسلط به مفاهیم Data Warehouse
تسلط به Dimensional Modeling
تجربه طراحی Fact و Dimension
آشنایی با Data Quality و Data Validation
توانایی Performance Tuning در SQL و فرآیندهای ETL
آشنایی با SQL Server Agent و Job Scheduling
آشنایی با مدیریت خطا، Logging و Monitoring
تفکر تحلیلی و سیستماتیک
توانایی حل مسائل پیچیده داده‌ای
توجه بالا به Data Quality
توانایی تحلیل Root Cause خطاها و مغایرت‌های داده
مسئولیت‌پذیری و Ownership نسبت به فرآیندهای تحت مدیریت
توانایی کار مستقل و حل مسئله
مستندسازی مناسب
توانایی همکاری موثر با تیم‌های BI، نرم‌افزار و کسب‌وکار
یادگیری و به‌روز نگه داشتن دانش فنی