دان
دان

Data Engineer

مشهد، وکیل آباد
امکان دورکاری
تمام وقت
شنبه تا چهارشنبه
-
پاداش -امریه‌ی سربازی -بیمه درمان تکمیلی -ساعت کاری منعطف -میان وعده -فضای استراحت -بسته ها و هدایای مناسبتی
51 تا 200 نفر
فناوری اطلاعات / نرم افزار و سخت افزار
شرکت ایرانی دارای مشتریان داخلی
1397
دان- هوما
خصوصی
توضیحات بیشتر

شاخص های کلیدی از نظر کارفرما

3 سال سابقه کار در گروه شغلی مشابه
Microsoft Visual Studio - متوسط
MySql - پیشرفته
Python - پیشرفته
Node.js - مقدماتی
RabbitMQ - متوسط
Kubernetes - مقدماتی
ترجیحا ساکن مشهد

شرح شغل و وظایف

شرکت Done، پلتفرم محتوایی تلویزیون‌های هوشمند (Android TV) با بیش از 1.5 میلیون دستگاه فعال و پردازش روزانه بیش از 40 میلیون درخواست است. با توجه به گسترش محصول و برنامه‌ریزی برای پیاده‌سازی سیستم ریکامندیشن (Recommendation System) پیشرفته، ما در حال ارتقا و توسعه زیرساخت داده خود هستیم.
در حال حاضر جریان داده‌های ما (حدود 3 میلیون رکورد در روز) بر بستر PostgreSQL و ClickHouse مدیریت می‌شود. هدف اصلی در این موقعیت شغلی، معماری مجدد جریان داده، پیاده‌سازی زیرساخت Streaming و خودکارسازی فرآیندهای ETL است.

ما برای این نقش به یک مهندس داده ارشد (به صورت تمام‌وقت) و یا یک معمار داده/مشاور باتجربه (به صورت پاره‌وقت/پروژه‌ای) نیاز داریم تا مالکیت فنی این گذار را بر عهده بگیرد.

مسئولیت‌های کلیدی:
  • معماری و توسعه زیرساخت داده: طراحی، استقرار و نگهداری بستر پردازش داده مقیاس‌پذیر با استفاده از Kafka برای استریمینگ و Airflow برای مدیریت گردش کار (Orchestration).
  • طراحی و بهینه‌سازی فرآیندهای ETL: ایجاد پایپ‌لاین‌های پایدار برای انتقال و همگام‌سازی بی‌درنگ داده‌ها از PostgreSQL به ClickHouse جهت مصارف تحلیلی و مارکتینگ.
  • مدیریت پایگاه‌های داده تحلیلی: مدل‌سازی داده، پارتیشن‌بندی و بهینه‌سازی کوئری‌ها در ClickHouse برای پاسخ‌گویی در کمترین زمان ممکن.
  • بسترسازی برای سیستم ریکامندیشن: آماده‌سازی زیرساخت پردازش کلان‌داده (Big Data) و همکاری در انتخاب و استقرار ابزارهای پردازشی توزیع‌شده (مانند Apache Spark).
  • پایش و قابلیت اطمینان (Reliability): اطمینان از صحت، یکپارچگی و در دسترس بودن داده‌ها و ایجاد سیستم‌های مانیتورینگ برای پایپ‌لاین‌ها.
نیازمندی‌های تخصصی:
  • تجربه اثبات‌شده: سابقه کار تخصصی در مهندسی داده و طراحی پایپ‌لاین‌های پردازش داده در مقیاس بالا (High-throughput).
  • پایگاه‌های داده: تسلط عمیق بر پایگاه‌های داده تحلیلی (به‌طور خاص ClickHouse) و پایگاه‌های داده رابطه‌ای (PostgreSQL).
  • ابزارهای مهندسی داده: تجربه عملی در پیاده‌سازی و مدیریت Apache Kafka و ابزارهای Orchestration مانند Apache Airflow.
  • زبان‌های برنامه‌نویسی: تسلط عالی به Python برای توسعه پایپ‌لاین‌ها و تسلط کامل به SQL پیشرفته. (آشنایی با Node.js/NestJS با توجه به استک بک‌اند ما مزیت محسوب می‌شود).
  • زیرساخت و عملیات: آشنایی با مفاهیم کانتینر سازی و تجربه کار در محیط‌های لینوکسی (Docker و Kubernetes).
  • طرز تفکر تحلیلی: توانایی درک نیازمندی‌های محصولی مارکتینگ و تبدیل آن‌ها به مدل‌های داده کارآمد.
چرا این موقعیت شغلی جذاب است؟
شما با یک سیستم از پیش‌ساخته و غیرقابل تغییر مواجه نیستید؛ بلکه نقش کلیدی در انتخاب ابزارها و طراحی معماری پایپ‌لاین‌های جدید خواهید داشت.
دیتای شما مستقیماً رفتار میلیون‌ها کاربر را در یک پلتفرم زنده تحلیل می‌کند و زیربنای اصلی سیستم ریکامندیشن ما خواهد بود.

شرایط احراز شغل

جنسیت
تفاوتی ندارد
نرم افزارها
Microsoft Visual Studio| متوسط MySql| پیشرفته Node.js| مقدماتی Python| پیشرفته Kubernetes| مقدماتی RabbitMQ| متوسط

ثبت مشکل و تخلف آگهی

ارسال رزومه برای دان

این آگهی بسته شده است
insight applicant

مقایسه من با سایر متقاضیان