مهندس داده و پایتون (Data & Backend Engineer)

درباره موقعیت شغلی:

ما در شرکت «پیشگامان امن» با هدف توسعه سامانه‌های پیشرفته برای جمع‌آوری، پردازش و تحلیل لاگ‌ها و کلان‌داده‌ها، به دنبال جذب همکار در تیم سکوی داده (Data Platform) هستیم.

فضای کاری ما ترکیبی از مهندسی داده (به‌ویژه داده‌های جریانی و Real-time)، توسعه سرویس‌های بک‌اند با پایتون و مدیریت زیرساخت‌های داده‌ای است. ما به دنبال همکارانی هستیم که علاوه بر تسلط بر ابزارهای کلان‌داده و پایپ‌لاین‌های پردازشی، توانایی خوبی در کدنویسی پایتون و توسعه API داشته باشند تا بتوانند ابزارها و سرویس‌های داده‌محور را بهینه کرده و با سایر تیم‌های نرم‌افزاری یکپارچه کنند.

مسئولیت‌ها و وظایف:

• طراحی و نگهداری پایپ‌لاین‌های داده: پیاده‌سازی و مدیریت جریان‌های ورود داده (Ingestion)، پردازش‌های در لحظه (Stream Processing) و ذخیره‌سازی لاگ‌ها و داده‌های حجیم.
• توسعه سرویس‌ها و APIهای داده‌محور: نوشتن سرویس‌های بک‌اند، ابزارهای خودکارسازی (Automation) و APIها (با استفاده از FastAPI یا Django) جهت مدیریت جریان داده و ارتباط با سایر بخش‌های سامانه.
• مدیریت زیرساخت پیام‌رسان و پایگاه‌های داده: کار مستمر با Apache Kafka به عنوان شاهراه اصلی داده‌ها و مدیریت ذخیره‌سازی در دیتابیس‌های تحلیلی و رابطه‌ای (مانند ClickHouse و PostgreSQL).
• عملیات زیرساختی و نگهداری (DataOps): استقرار سرویس‌ها بر بستر Docker، پایش سلامت سامانه‌ها، پشتیبان‌گیری (Backup/Restore) از داده‌ها و صف‌ها، و عیب‌یابی زیرساخت در محیط Linux.
• همکاری تیمی: تعامل نزدیک با تیم‌های بک‌اند، فرانت‌اند و امنیت جهت پیاده‌سازی نیازمندی‌های جدید و تحویل داده‌ها یا سرویس‌ها در قالب‌های استاندارد.

مهارت‌های فنی مورد نیاز (شرایط احراز):

• تسلط بر زبان Python و توسعه وب: مهارت بالا در برنامه‌نویسی پایتون و تجربه کار با فریم‌ورک‌های وب مانند FastAPI یا Django برای توسعه API و سرویس‌های سمت سرور.
• تسلط بر SQL و پایگاه‌های داده: توانایی بالا در نوشتن کوئری‌های پیشرفته (شامل Materialized Views) و تجربه کار با دیتابیس‌های رابطه‌ای (PostgreSQL) و تحلیلی (ClickHouse).
• تسلط بر Apache Kafka: درک عمیق از معماری کافکا، مدیریت جریان داده‌های ورودی/خروجی، و انجام امور عملیاتی و نگهداری آن.
• تجربه در پردازش جریانی داده (Stream Processing): آشنایی و تجربه کار با حداقل یکی از ابزارهای پردازش جریانی مانند Apache Flink، Spark Streaming یا RisingWave.
• مهارت‌های DevOps و زیرساخت: تسلط بر سیستم‌عامل Linux (مدیریت سرویس‌ها، اسکریپت‌نویسی و عیب‌یابی) و تسلط عملی بر Docker و Docker Compose.
• ابزارهای توسعه و زمان‌بندی: آشنایی با Git، مفاهیم CI/CD و ابزارهای مدیریت پایپ‌لاین مانند Apache Airflow.

مهارت‌های امتیازی (مزیت محسوب می‌شود):

• تجربه کار با دیتابیس‌های جریانی مدرن مانند RisingWave.
• آشنایی با ابزارهای جمع‌آوری لاگ (مانند Fluentd / Logstash) و مفاهیم امنیت سایبری.
• آشنایی با ابزارهای مصورسازی داده (مانند Grafana و Metabase).
• روحیه حل مسئله، انعطاف‌پذیری در انجام تسک‌های ترکیبی (Data / Backend / DevOps) و توانایی یادگیری سریع ابزارهای جدید.