ما به‌دنبال یک مهندس ارشد داده هستیم که مسئول طراحی، توسعه و نگهداری زیرساخت داده برای جمع‌آوری، یکپارچه‌سازی، پردازش و ذخیره‌سازی داده‌ها از منابع مختلف باشد. تمرکز این نقش بر توسعه پایپ‌لاین‌های داده، بهینه‌سازی پایگاه‌های داده، تضمین کیفیت داده و طراحی ساختارهای مناسب برای داده‌های حجیم و زمان‌محور (مانند داده‌های بازار سرمایه) است.

شرح وظایف

• طراحی، توسعه و نگهداری فرآیندهای ETL / ELT
• توسعه و مدیریت Data Pipeline برای دریافت داده از دیتابیس‌ها، APIها، فایل‌ها و منابع بیرونی
• یکپارچه‌سازی داده‌ها از چندین سرور و سیستم مختلف
• طراحی و بهینه‌سازی ساختار جداول، Viewها، Queryها، Indexها و Partitionها
• طراحی و توسعه Data Warehouse / Data Mart
• پیاده‌سازی مکانیزم‌های Data Validation، Data Cleansing و Data Quality
• طراحی ساختار ذخیره‌سازی مناسب برای داده‌های حجیم و سری زمانی
• کار با ابزارهای زمان‌بندی و Orchestration برای مدیریت جریان داده
• مستندسازی ساختار دیتابیس‌ها، جریان داده و فرآیندهای ETL/ELT
• رعایت اصول امنیت داده و همکاری در مدیریت دسترسی‌ها و نقش‌های دیتابیس

شرایط احراز

• حداقل 4 سال سابقه کاری مرتبط در حوزه Data Engineering یا Data Platform
• تسلط قوی به SQL و طراحی دیتابیس
• تجربه عملی در توسعه ETL / ELT Pipelines
• تسلط به Python و کتابخانه‌های پردازش داده (Pandas, NumPy)
• تجربه کار با پایگاه‌های داده رابطه‌ای، به‌ویژه PostgreSQL و SQL Server
• آشنایی با مفاهیم Data Warehouse، Data Modeling و Data Quality
• تجربه کار با داده‌های حجیم یا داده‌های پرتکرار / زمان‌محور
• توانایی تحلیل و رفع مشکلات داده و بهینه‌سازی عملکرد سیستم
• توانایی کار مستقل و مسئولیت‌پذیری بالا

مهارت‌های تخصصی

• تسلط عمیق بر پایگاه های داده PostgreSQL , SQL Server شامل کوئری نویسی پیچیده، بهینه سازی، indexing ، Partitioning و ...
• تسلط بر دیتابیس های سری زمانی مانند TimescaleDB یا InfluxDB جهت ذخیره سازی دیتای تیک و قیمت های لحظه ای بازار سرمایه
• آشنایی با MongoDB و Redis
• توسعه خطوط لوله داده – ETL/ELT Pipelines
• تسلط بر پایتون (Python) و کتابخانه‌های پردازش داده (Pandas, Numpy).
• تسلط بر ابزارهای زمان‌بندی و مدیریت جریان کار مانند Apache Airflow.
• تسلط بر مفاهیم Data Warehouse ، Data Lake ، Data Mart، Data Modeling ، Star Schema و Snowflake Schema
• اعتبارسنجی و کیفیت داده (Data Validation & Cleansing)
• توانایی طراحی مکانیزم‌ های کنترل کیفیت داده (Data Quality)
• آشنایی با فریم‌ ورک‌هایی نظیر Great Expectations برای تست و ولیدیشن خودکار داده‌ها 

امتیاز محسوب می‌شود:

• آشنایی با Web Crawling
• تجربه کار با API و منابع داده بیرونی
• آشنایی با ابزارهای BI یا ETL دیگر
• آشنایی با Apache Kafka یا RabbitMQ
•  آشنایی با مفاهیم بازار سرمایه