مهندس پردازش جریان داده

ما در شرکت پیشگامان امن، با هدف توسعه و به‌کارگیری سامانه‌های پیشرفته برای جمع‌آوری، پردازش و تحلیل لاگ‌ها و کلان‌داده‌های سازمان، به دنبال جذب همکارانی در موقعیت شغلی «مهندسی داده با تمرکز روی لاگ و کلان‌داده» هستیم.
تیم سکوی داده و لاگ، مسئولیت طراحی، پیاده‌سازی و استقرار پایپلاین‌های جمع‌آوری و پردازش لاگ، طراحی شمای نگه‌داری داده‌های تراکنشی و لاگ‌ها، و معماری ذخیره‌سازی و بازیابی آن‌ها در مقیاس کلان‌داده را بر عهده دارد. همچنین تعامل مستمر با واحدهای مختلف جهت شناسایی نیازهای تحلیلی و عملیاتی، یکپارچه‌سازی سامانه‌های سازمان برای تولید و ارسال لاگ، توسعه ابزارها و داشبوردهای تحلیلی مبتنی بر لاگ، و تضمین امنیت، کیفیت و دسترس‌پذیری داده‌ها از دیگر وظایف اصلی این تیم است.

مسئولیت‌ها:

• مستندسازی کامل و جزیی داده‌ها در بستر نرم‌افزاری
• تعامل با تیم‌های فنی متنوع در جهت کشف و اضافه کردن منابع داده‌ای جدید به انبار داده 
• نگهداری و بهبود زیرساخت فعلی انبار داده شامل جریان‌های ورود داده، داده‌ساختارها و …
• اضافه کردن داده‌های جدید بر اساس توسعه‌ی محصولات متنوع در سطح سازمان به انبار داده
• پیاده‌سازی آزمون‌های متنوع در سطح انبار داده در جهت پایش و بهبود کیفیت داده‌های موجود

شرایط احراز:

• تسلط بر SQL و مفاهیم پایه در پایگاه‌داده‌های رابطه‌ای
• تسلط بر سیستم‌عامل Linux در سطح پیشرفته (مدیریت سرویس‌ها، اسکریپت‌نویسی، عیب‌یابی و مانیتورینگ)
• آشنایی و کار عملی با Docker و مفاهیم کانتینری‌سازی (ایجاد و مدیریت کانتینرها، ایمیج‌ها و استفاده از Docker Compose)
• آشنایی با Apache Flink و مفاهیم پردازش جریانی داده‌ها (stream processing)
• توانایی طراحی و توسعه API برای دسترسی به داده‌ها و سرویس‌دهی به تیم‌های سازمان
• آشنایی با ابزارهای نمایش و ساخت پیشخوان از داده‌ها مانند Metabase
• آشنایی با پایگاه‌های داده رابطه‌ای (RDBMS) مانند MSSQL و PostgreSQL و همچنین پایگاه‌های تحلیلی مانند ClickHouse
• آشنایی با نرم افزارهای جمع‌آوری لاگ مانند fluentd
• تسلط بر ابزارهای مدیریت صف مانند kafka و RabbitMQ
• توانایی برقراری ارتباط موثر و همکاری با تیم
• مهارت‌های قوی در حل مسئله و توجه دقیق به جزئیات
• مستندسازی کدهای توسعه‌داده‌شده و ساختار داده‌ها
• انعطاف‌پذیری در مواجهه با تغییر نیازمندی‌ها و اولویت‌ها
• تسلط بر مدیریت زمان و سازمان‌دهی امور کاری

داشتن مهارت‌های زیر مزیت محسوب می‌شود:

• تجربه عملی در راه‌اندازی CI/CD برای پروژه‌های داده
• تجربه عملی در راه‌اندازی kubernetese