درباره موقعیت شغلی
شرکت ایده‌های هوشمند تجارت سیمرغ در راستای توسعه و تقویت تیم داده خود، به دنبال جذب یک فرد توانمند، دقیق و باانگیزه است تا در طراحی، توسعه و نگهداری خطوط لوله داده و زیرساخت‌های داده‌ای مقیاس‌پذیر همکاری کند.
در این نقش، شما در کنار تیم‌های BI، تحلیل داده و محصول فعالیت خواهید داشت تا جریان پایدار، قابل اعتماد و به‌روز داده‌ها را تضمین کرده و در بهبود کیفیت، دسترس‌پذیری و بهره‌وری پلتفرم داده شرکت نقش موثری ایفا کنید.
اگر به کار عملی با ابزارهای مدرن داده، پردازش‌های Batch و Real-time و توسعه زیرساخت‌های داده‌ای مقیاس‌پذیر علاقه‌مند هستید، جای شما در تیم سیمرغ خالی است.

وظایف و مسئولیت‌ها:
- مشارکت در طراحی و توسعه پایپ‌لاین‌های داده Real-time و Batch با استفاده از Kafka، Spark و Airflow
- پشتیبانی از طراحی شِما، بهینه‌سازی و تیونینگ عملکرد در ClickHouse
- توسعه و نگهداری جریان‌های کاری ETL/ELT برای انتقال داده از MySQL و سایر منابع به ClickHouse
- همکاری در توسعه پایپ‌لاین‌های CDC با استفاده از Kafka Connect، Debezium و Schema Registry
- کار با MinIO برای ذخیره‌سازی شیءگرا و دسترسی توزیع‌شده به داده‌ها
- توسعه کدهای تمیز، خوانا و قابل نگهداری با Python یا Java
- ساخت و پشتیبانی از دیتاست‌های قابل استفاده مجدد برای تحلیل داده و داشبوردهای Self-Service در Metabase
- مانیتورینگ سلامت و عملکرد پایپ‌لاین‌های داده با Grafana و Prometheus
- دیپلوی و مدیریت سرویس‌ها و ابزارهای داده روی بستر Kubernetes
- مشارکت در فرآیندهای CI/CD با ابزارهای خانواده Argo مانند Argo Workflows و Argo CD
- همکاری نزدیک با تیم‌های BI و Data Science برای بهبود دسترسی‌پذیری، کیفیت و مستندسازی داده‌ها

شرایط احراز:
- 2 تا 3 سال سابقه کار مرتبط در نقش مهندس داده یا موقعیت‌های مشابه
- تسلط بالا به برنامه‌نویسی با Python و/یا Java
- تجربه عملی کار با ClickHouse، شامل طراحی شِما و بهینه‌سازی کوئری‌ها
- آشنایی و تجربه کاری با Kafka، Kafka Connect و Schema Registry
- تجربه پیاده‌سازی ETL/ELT و آشنایی کامل با مفاهیم CDC
- تجربه عملی کار با Apache Airflow
- تسلط بالا بر SQL و تجربه کار با MySQL یا سایر پایگاه‌های داده رابطه‌ای
- تجربه کار یا آشنایی با Metabase
- تجربه کار با MinIO یا سایر ذخیره‌سازهای سازگار با S3
- تجربه کار با Spark یا PySpark
- آشنایی عملی با Docker و استقرار سرویس‌ها روی Kubernetes
- آشنایی با ابزارهای خودکارسازی و دلیوری مانند Argo Workflows یا Argo CD
- شناخت ابزارهای مانیتورینگ از جمله Grafana و Prometheus

مزیت‌های ترجیحی:
- تجربه کار با معماری‌های رویدادمحور و سیستم‌های بلادرنگ
- تجربه در طراحی سیستم‌های توزیع‌شده و پلتفرم‌های داده با حجم و نرخ انتقال بالا

ویژگی‌های فردی مورد انتظار:
- دقیق، مسئولیت‌پذیر و پیگیر
- دارای روحیه یادگیری و حل مسئله
- توانمند در کار تیمی و ارتباط موثر با ذی‌نفعان فنی و تجاری
- منظم در مستندسازی و رعایت استانداردهای توسعه