شنبه تا چهارشنبه ساعت 9 تا 17
-
کمک هزینه دوره آموزشی -کتابخانه
این فرصت شغلی چقدر برای من مناسب است؟
11 تا 50 نفر
خدمات برگزاری همایش، مجالس، سمینار و نمایشگاه
توضیحات بیشتر
شاخص های کلیدی از نظر کارفرما
3 سال سابقه کار در گروه شغلی مشابهکارشناسی کامپیوتر / فناوری اطلاعات Python - متوسط
Git - متوسط
MongoDB - متوسط
شرح شغل و وظایف
شرح شغل:
داده‌های ما از ده‌ها منبع عمومی جمع‌آوری، پاک‌سازی و یکپارچه می‌شوند و پایه پاسخ‌های سیستم RAG ما هستند. حالا به کسی نیاز داریم که این داده‌ها را به شکلی قابل اعتماد، قابل اندازه‌گیری و پایدار به دست سیستم پاسخ‌گو برساند.
تمرکز این نقش بیشتر از آن‌که جمع‌آوری داده بیشتر باشد، روی یکپارچگی، کیفیت و قابل‌اندازه‌گیری بودن داده است. می‌خواهیم هر بهبودی در داده مستقیماً در کیفیت پاسخ‌هایی که کاربر می‌بیند دیده شود و بتوانیم آن را با عدد نشان دهیم.
مسئولیت‌های اصلی:
- نگهداری و توسعه pipeline داده (جمع‌آوری، نرمال‌سازی، حذف تکرار، غنی‌سازی، embedding)
- طراحی مهاجرت‌ها و Backfillهای خودتوان (Idempotent) و قابل بازگشت
- پایش پوشش منابع، کامل بودن فیلدها و سلامت اجراها
- همکاری با تیم RAG برای تعریف نیازهای داده‌ای و اولویت‌بندی منابع جدید بر اساس شکاف‌های واقعی در پاسخ‌ها
- مستندسازی تصمیم‌ها و قراردادهای داده برای اعضای فعلی و آینده تیم
شرایط و مهارت‌های مورد نیاز:
- حداقل 3 سال تجربه مهندسی داده یا Backend با تمرکز بر داده
- تسلط به Python و نوشتن کد تمیز و قابل تست
- تجربه عملی با MongoDB: مدل‌سازی داده، ایندکس‌گذاری و عملیات حجیم
- تجربه با ابزارهای ارکستراسیون pipeline داده مانند Dagster یا Airflow
- درک عمیق از خودتوانی (Idempotency)، Upsert، Backfill و مهاجرت داده بدون از دست رفتن اطلاعات
- تجربه در طراحی تست‌های کیفیت داده و تست‌های خودکار برای pipeline داده
- توانایی تصمیم‌گیری مستقل و مستندسازی شفاف آن‌ها
امتیاز محسوب می‌شود:
- آشنایی با پایگاه داده‌های برداری مانند Qdrant و مفاهیم embedding و جست‌وجوی ترکیبی (Hybrid Search)
- تجربه کار با سیستم‌های RAG یا فراخوانی LLM در خط لوله داده
- آشنایی با ابزارهای مشاهده‌پذیری مانند Langfuse و درگاه‌هایی مانند LiteLLM
- تجربه در Entity Resolution و حذف تکرار بین منابع مختلف
- آشنایی با ذخیره‌سازی شیء (S3 / MinIO)
- تجربه کار با GitLab CI
- تجربه با Web Scraping
داده‌های ما از ده‌ها منبع عمومی جمع‌آوری، پاک‌سازی و یکپارچه می‌شوند و پایه پاسخ‌های سیستم RAG ما هستند. حالا به کسی نیاز داریم که این داده‌ها را به شکلی قابل اعتماد، قابل اندازه‌گیری و پایدار به دست سیستم پاسخ‌گو برساند.
تمرکز این نقش بیشتر از آن‌که جمع‌آوری داده بیشتر باشد، روی یکپارچگی، کیفیت و قابل‌اندازه‌گیری بودن داده است. می‌خواهیم هر بهبودی در داده مستقیماً در کیفیت پاسخ‌هایی که کاربر می‌بیند دیده شود و بتوانیم آن را با عدد نشان دهیم.
مسئولیت‌های اصلی:
- نگهداری و توسعه pipeline داده (جمع‌آوری، نرمال‌سازی، حذف تکرار، غنی‌سازی، embedding)
- طراحی مهاجرت‌ها و Backfillهای خودتوان (Idempotent) و قابل بازگشت
- پایش پوشش منابع، کامل بودن فیلدها و سلامت اجراها
- همکاری با تیم RAG برای تعریف نیازهای داده‌ای و اولویت‌بندی منابع جدید بر اساس شکاف‌های واقعی در پاسخ‌ها
- مستندسازی تصمیم‌ها و قراردادهای داده برای اعضای فعلی و آینده تیم
شرایط و مهارت‌های مورد نیاز:
- حداقل 3 سال تجربه مهندسی داده یا Backend با تمرکز بر داده
- تسلط به Python و نوشتن کد تمیز و قابل تست
- تجربه عملی با MongoDB: مدل‌سازی داده، ایندکس‌گذاری و عملیات حجیم
- تجربه با ابزارهای ارکستراسیون pipeline داده مانند Dagster یا Airflow
- درک عمیق از خودتوانی (Idempotency)، Upsert، Backfill و مهاجرت داده بدون از دست رفتن اطلاعات
- تجربه در طراحی تست‌های کیفیت داده و تست‌های خودکار برای pipeline داده
- توانایی تصمیم‌گیری مستقل و مستندسازی شفاف آن‌ها
امتیاز محسوب می‌شود:
- آشنایی با پایگاه داده‌های برداری مانند Qdrant و مفاهیم embedding و جست‌وجوی ترکیبی (Hybrid Search)
- تجربه کار با سیستم‌های RAG یا فراخوانی LLM در خط لوله داده
- آشنایی با ابزارهای مشاهده‌پذیری مانند Langfuse و درگاه‌هایی مانند LiteLLM
- تجربه در Entity Resolution و حذف تکرار بین منابع مختلف
- آشنایی با ذخیره‌سازی شیء (S3 / MinIO)
- تجربه کار با GitLab CI
- تجربه با Web Scraping
شرایط احراز شغل
جنسیت
تفاوتی ندارد
تحصیلات
زبان
نرم افزارها
ثبت مشکل و تخلف آگهی
ارسال رزومه برای رویداد گشت