درباره نقش
در Bulut، مهندس داده نقشی کلیدی در طراحی، توسعه، بهینه‌سازی و نگهداری زیرساخت‌ها و پایپ‌لاین‌های داده بر عهده دارد. این فرد مسئول ایجاد جریان‌های داده‌ی پایدار، مقیاس‌پذیر و قابل‌اعتماد است تا تیم‌های تحلیل، هوش مصنوعی و محصول بتوانند بر پایه‌ی داده‌های دقیق و به‌روز تصمیم‌گیری کنند.
مسئولیت‌ها
• طراحی و پیاده‌سازی پایپ‌لاین‌های ETL / ELT برای جمع‌آوری، تبدیل و بارگذاری داده از منابع مختلف
• توسعه و نگهداری سرویس‌ها و فرآیندهای داده با استفاده از Python و SQL
• کار با پایگاه‌داده‌های رابطه‌ای و غیررابطه‌ای مانند PostgreSQL و MongoDB
• طراحی و اجرای فرآیندهای پردازش و انتقال داده با استفاده از Apache Airflow و Microsoft SSIS
• یکپارچه‌سازی و پردازش داده‌ با استفاده از Kafka
• استفاده از Redis برای سناریوهای کش، صف‌بندی سبک، کنترل هم‌زمانی و بهبود کارایی سرویس‌ها
• طراحی و استقرار سرویس‌ها و اجزای داده‌ای در محیط‌های کانتینری با استفاده از Docker و Kubernetes
• همکاری با تیم‌های تحلیل داده، علم داده و توسعه محصول برای تامین نیازهای تحلیلی و عملیاتی
• بهینه‌سازی عملکرد پایپ‌لاین‌ها، کوئری‌ها و ساختارهای ذخیره‌سازی داده
• تضمین کیفیت، صحت، در دسترس‌بودن و امنیت داده‌ها
• مستندسازی معماری داده، منطق تبدیل‌ها و جریان‌های پردازش
• مشارکت در بازبینی کد، رفع اشکال، پایش سرویس‌ها و پشتیبانی از تولید
الزامات / مهارت‌ها
• تسلط بر SQL و مفاهیم پایگاه‌داده‌های رابطه‌ای
• تجربه‌ی کاری با PostgreSQL
• تجربه یا آشنایی عملی با MongoDB
• تسلط بر طراحی و پیاده‌سازی پایپ‌لاین‌های ETL / ELT
• آشنایی با مفاهیم Data Modeling، Data Warehouse و معماری‌های مدرن داده
• تجربه‌ی کار با Apache Airflow
• آشنایی با Kafka و الگوهای پردازش داده‌ی بلادرنگ یا نزدیک به بلادرنگ
• تجربه‌ی کار با Redis در سناریوهای مرتبط با داده و زیرساخت
• تسلط به Docker و آشنایی با مفاهیم استقرار کانتینری
مزیت محسوب می‌شود
• تجربه‌ی کار با معماری‌های مقیاس‌پذیر و توزیع‌شده
• تجربه‌ی کار با ابزارهای مانیتورینگ، لاگ‌برداری و پایش سیستم
• آشنایی با مفاهیم پردازش هم‌زمان و موازی
• تجربه‌ی کار با ابزارها و تکنولوژی‌های مرتبط با داده‌های جریانی و پردازش بلادرنگ
• آشنایی با اصول CI/CD و فرآیندهای استقرار خودکار
• تجربه‌ی همکاری نزدیک با تیم‌های تحلیل، مهندسی نرم‌افزار و یادگیری ماشین