Data Engineer

به یک Data Engineer با تجربه عملی در طراحی، توسعه و نگهداری data pipelineها در محیط‌های production نیاز داریم.

این نقش نیازمند مالکیت end-to-end روی pipelineها (از توسعه تا مانیتورینگ، دیباگ، عیب‌یابی و پشتیبانی production) است.

مسئولیت‌ها

• طراحی، توسعه و نگهداری ETL / ELT pipelineها
• توسعه DAGهای Apache Airflow و taskهای مبتنی بر Python
• یکپارچه‌سازی و انتقال داده بین PostgreSQL، Microsoft SQL Server، ClickHouse، MongoDB و سایر منابع داده
• طراحی فرآیندهای staging، incremental load، data sync و replication
• طراحی و نگهداری مدل‌های fact و dimension
• طراحی و بهینه‌سازی ساختار داده و queryها در ClickHouse
• پیاده‌سازی data validation، reconciliation و کنترل‌های data quality
• ساخت pipelineهای قابل اتکا با قابلیت retry و reprocessing
• مدیریت schema changeها و تغییرات سیستم‌های منبع
• پردازش داده از APIها، سرویس‌های SOAP/XML و فایل‌های Excel
• مانیتورینگ pipelineها، بررسی logها و رفع مشکلات production
• نوشتن تست و اعتبارسنجی خروجی‌های ETL
• پشتیبانی از فرآیندهای backup/restore، rollback و audit
• کار با storageهای S3-compatible برای انتقال داده و backup
• مستندسازی pipelineها و نگهداری runbookهای عملیاتی
• مانیتورینگ و بهینه‌سازی performance و مصرف منابع در دیتابیس‌ها و jobهای پردازشی

مهارت‌های موردنیاز

• مهارت قوی در Python برای ETL، automation، debugging و testing
• تجربه کار با pandas و پردازش داده‌های مبتنی بر Excel
• مهارت قوی در SQL
• تجربه عملی با Apache Airflow و orchestration در ETL
• تجربه عملی قوی با ClickHouse
• تجربه قوی با PostgreSQL
• تجربه کار با Microsoft SQL Server
• تجربه کار با MongoDB
• درک مناسب از Data Warehousing و Dimensional Modeling
• تجربه در staging، incremental loading، replication و data rebuild
• تجربه در Data Quality، Deduplication، Validation و Reconciliation
• تجربه کار با Linux / CLI
• تجربه کار با Docker / Docker Compose
• تجربه کار با S3-compatible storage
• تجربه کار با SOAP / XML
• مهارت در production debugging و Root Cause Analysis
• آشنایی با مفاهیم Retry، Recovery و Reprocessing
• تجربه کار با Git / GitLab
• آشنایی با Metabase یا ابزارهای مشابه BI
• درک مناسب از اصول امنیت در production شامل roles، permissions، secrets و least-privilege access

انتظارات

• تجربه واقعی کار با production data pipelineها
• مالکیت end-to-end روی pipelineها از توسعه تا مانیتورینگ و حل incidentها
• دقت بالا در صحت داده و پایداری در production
• مهارت قوی در troubleshooting و حل مسئله
• آگاهی از performance، reliability و data integrity
• رویکرد مسئولانه در deployment و تغییرات production
• توانایی مستندسازی شفاف و انتقال دانش به تیم