شرح وظایف: شرکت فرابورس ایران به منظور تکمیل تیم خود، در نظر دارد یک مهندس داده حرفه‌ای و با تجربه را به همکاری دعوت نماید. فرد منتخب در این موقعیت، مسئولیت توسعه و نگهداری پایپلاین‌های ETL، مدیریت و تحلیل داده‌ها و بهینه‌سازی زیرساخت‌های داده‌ای شرکت را بر عهده خواهد داشت. مسئولیت‌ها: طراحی، توسعه و نگهداری پایپلاین‌های ETL با استفاده از Apache Airflow و Prefect جهت انتقال، پردازش و اورکستراسیون داده‌ها. پیاده‌سازی و مدیریت Data Lakehouse برای ذخیره‌سازی یکپارچه و بهینه داده‌های ساخت‌یافته و غیرساخت‌یافته. توسعه و نگهداری پایپلاین‌های CI/CD با استفاده از ابزارهایی مانند GitLab CI/CD یا GitHub Actions برای خودکارسازی تست، استقرار و به‌روزرسانی مداوم. مدیریت نسخه و همکاری تیمی با استفاده از Git و پلتفرم‌هایی مانند GitHub، GitLab. مدیریت و استفاده از بانک‌های اطلاعاتی مختلف از جمله MongoDB و ClickHouse. نگارش و بهینه‌سازی کوئری‌های پیچیده SQL و NoSQL جهت استخراج، تجمیع و آنالیز داده. تجزیه و تحلیل داده‌ها و ایجاد داشبوردهای بصری جهت گزارش‌دهی و نظارت بر شاخص‌های کلیدی. به‌کارگیری بهترین شیوه‌های مهندسی داده (Data Modeling، Data Governance و Data Quality) برای تضمین صحت و یکپارچگی داده‌ها. بهینه‌سازی عملکرد بانک‌های اطلاعاتی و پایپلاین‌های داده‌ای از نظر مقیاس‌پذیری و کارایی. همکاری نزدیک با تیم‌های محصول، توسعه و کسب‌وکار برای درک نیازها و ارائه راه‌حل‌های داده‌محور موثر. شرایط احراز: دارا بودن مدرک کارشناسی یا بالاتر در رشته‌های مرتبط با فناوری اطلاعات، علوم کامپیوتر یا مهندسی داده. تسلط به زبان برنامه‌نویسی پایتون و تجربه عملی با فریم‌ورک‌ها و کتابخانه‌های مرتبط. تجربه کار با ابزارهای اورکستراسیون ETL مانند Apache Airflow و Prefect. آشنایی و تجربه عملی در طراحی، استقرار و مدیریت خوشه‌های Kubernetes و کانتینری‌سازی با Docker. تجربه توسعه و نگهداری پایپلاین‌های GitLab CI/CD یا GitHub Actions. تسلط به کار با سیستم‌های کنترل نسخه Git و پلتفرم‌های GitHub/GitLab. آشنایی با معماری Data Lakehouse و ابزارهایی مانند Delta Lake یا Apache Iceberg و سرویس های ذخیره سازی مانند S3(Minio) تسلط به کوئری‌نویسی پیشرفته در SQL و NoSQL. توانایی طراحی و پیاده‌سازی داشبوردهای داده‌محور با ابزارهایی مانند Metabase یا Superset. دانش و تجربه در مفاهیم Data Modeling، Data Warehousing و Data Governance. مهارت‌های ارتباطی قوی و توانایی کار تیمی در محیط‌های چابک.