ما به دنبال یک مهندس داده هستیم تا به تیم داده ما بپیوندد و در طراحی، توسعه و نگهداری پایپ‌لاین‌های قابل‌اعتماد داده و زیرساخت تحلیل داده کمک کند. فرد ایده‌آل تجربه عملی کار با دیتابیس‌های رابطه‌ای و تحلیلی، ابزارهای پایپ‌لاین داده و روش‌های مدرن مهندسی داده را دارد.

در این نقش با ابزارهایی مانند Apache NiFi، Apache Airflow، MS SQL Server و ClickHouse کار خواهید کرد. آشنایی پایه یا در سطح junior با Docker و محیط‌های containerized قابل قبول است.

مسئولیت‌ها

• طراحی، توسعه و نگهداری پایپ‌لاین‌های داده برای پردازش‌های batch و زمان‌بندی‌شده
• کار با Apache NiFi برای ingest، تبدیل و انتقال داده بین سیستم‌های مختلف
• ساخت و مدیریت workflowها با Apache Airflow
• پیاده‌سازی فرآیندهای ETL/ELT و بارگذاری داده در دیتابیس‌های تحلیلی
• کار با MS SQL Server و ClickHouse برای ذخیره‌سازی، query، بهینه‌سازی و نیازهای گزارش‌گیری
• مانیتورینگ پایپ‌لاین‌ها و رفع خطاها، تاخیرها و مشکلات کیفیت داده
• همکاری با Data Analystها، توسعه‌دهندگان BI و تیم‌های کسب‌وکار برای نیازهای گزارش‌گیری و تحلیل
• بهینه‌سازی queryهای SQL و بهبود عملکرد پردازش داده
• پشتیبانی از یکپارچه‌سازی داده بین سیستم‌های عملیاتی، Data Warehouse و پلتفرم‌های تحلیلی
• مستندسازی جریان داده، منطق پایپ‌لاین، ساختار دیتابیس و رویه‌های عملیاتی
• کمک به بهبود کیفیت، قابلیت اطمینان و دسترس‌پذیری داده در سازمان
• کار با Docker و سرویس‌های containerized در صورت نیاز

شرایط احراز

• تجربه کاری در نقش‌هایی مانند Data Engineer، ETL Developer، BI Developer یا نقش‌های مشابه
• تجربه عملی کار با Apache NiFi
• تجربه کار با Apache Airflow برای orchestration
• مهارت قوی در SQL
• تجربه کار با MS SQL Server
• تجربه کار با ClickHouse یا سایر دیتابیس‌های تحلیلی
• درک مفاهیم ETL/ELT و طراحی پایپ‌لاین داده
• توانایی عیب‌یابی مشکلات پایپ‌لاین و بررسی ناسازگاری‌های داده
• آشنایی با performance tuning دیتابیس و query optimization
• آشنایی پایه با Docker و کانتینرها
• درک مناسب از data modeling، data warehousing و مفاهیم گزارش‌گیری تحلیلی
• توانایی همکاری بین‌تیمی و تبدیل نیازهای کسب‌وکار به راهکارهای داده

مزیت محسوب می‌شود

• تجربه کار با Kafka یا سایر message brokerها
• آشنایی با Python برای پردازش داده و اتوماسیون
• آشنایی با محیط Linux
• تجربه در monitoring، logging و alerting برای پایپ‌لاین‌های داده
• آشنایی با مفاهیم CI/CD
• تجربه کار با پایپ‌لاین‌های داده در مقیاس بالا یا نزدیک به real-time