مسئولیت‌های کلیدی (Responsibilities):

• معماری و توسعه زیرساخت داده: طراحی، استقرار و نگهداری بستر پردازش داده مقیاس‌پذیر با استفاده از Kafka برای استریمینگ و Airflow برای مدیریت گردش کار (Orchestration).
• طراحی و بهینه‌سازی فرآیندهای ETL: ایجاد پایپ‌لاین‌های پایدار برای انتقال و همگام‌سازی بی‌درنگ داده‌ها از PostgreSQL به ClickHouse جهت مصارف تحلیلی و مارکتینگ.
• مدیریت پایگاه‌های داده تحلیلی: مدل‌سازی داده، پارتیشن‌بندی و بهینه‌سازی کوئری‌ها در ClickHouse برای پاسخ‌گویی در کمترین زمان ممکن.
• بسترسازی برای سیستم ریکامندیشن: آماده‌سازی زیرساخت پردازش کلان‌داده (Big Data) و همکاری در انتخاب و استقرار ابزارهای پردازشی توزیع‌شده (مانند Apache Spark).
• پایش و قابلیت اطمینان (Reliability): اطمینان از صحت، یکپارچگی و در دسترس بودن داده‌ها و ایجاد سیستم‌های مانیتورینگ برای پایپ‌لاین‌ها.

نیازمندی‌های تخصصی (Requirements):

• توسعه نرم‌افزار (Software Engineering): تسلط به زبان Python برای توسعه پایپ‌لاین‌ها. تجربه کار با TypeScript و فریم‌ورک‌های بک‌اند (ترجیحاً Node.js/NestJS) برای توسعه و نگهداری APIهای داده‌محور.
• زیرساخت و کانتینرسازی (Infra & DevOps): تسلط عملی بر محیط‌های لینوکسی، Docker و تجربه کار با Kubernetes برای استقرار و مدیریت سرویس‌ها.
• پایگاه‌های داده (Database Systems): تسلط عمیق بر پایگاه‌های داده رابطه‌ای (PostgreSQL) و پایگاه‌های تحلیلی/OLAP (به‌طور خاص ClickHouse).
• ابزارهای پایپ‌لاین داده (Data Pipeline Tools): تجربه کار با ابزارهای Orchestration و مدیریت پایپ‌لاین داده (مانند Apache Airflow) و ابزارهای اتوماسیون جریان کار و CI/CD
• استریمینگ رویدادها (Event Streaming): تجربه عملی در استقرار، نگهداری و مدیریت پلتفرم‌های استریمینگ (مانند Apache Kafka یا Redpanda).
• پایش و لاگینگ (Observability): تجربه کار با سیستم‌های مانیتورینگ برای پایش سلامت پایپ‌لاین‌ها (مانند استک Prometheus و Grafana)، مدیریت لاگ‌ها (مانند ELK Stack و Loki)، و آشنایی با مفاهیم Tracing (مانند Tempo)
• تحلیل و بهبود (Analysis & Improvement): توانایی ریشه‌یابی مشکلات (Root Cause Analysis) در گلوگاه‌های سیستم و قطعی‌ها، و مشارکت فعال در بهبود ساختاری کد و ارتقای معماری.

مواردی که مزیت محسوب می‌شوند (Nice to Have):

• تجربه کار با ابزارها و معماری‌های Change Data Capture (CDC)
• آشنایی با سیستم‌های پردازش دسته‌ای و جریانی (Batch & Stream Processing)
• آشنایی با معماری Data Lake (مانند Apache Iceberg) و مفاهیم حاکمیت داده (Data Governance & Data Lineage).
• تجربه مدیریت سیستم‌ها زیر بار ترافیک بسیار بالا (High-throughput) و تنظیم مکانیزم‌های High Availability و Load Balancing.

چرا این موقعیت شغلی جذاب است؟
شما با یک سیستم از پیش‌ساخته و غیرقابل تغییر مواجه نیستید؛ بلکه نقش کلیدی در انتخاب ابزارها و طراحی معماری پایپ‌لاین‌های جدید خواهید داشت.
دیتای شما مستقیماً رفتار میلیون‌ها کاربر را در یک پلتفرم زنده تحلیل می‌کند و زیربنای اصلی سیستم ریکامندیشن ما خواهد بود.