مهندس داده (Data Engineer)

به عنوان Data Engineer شما مسئول جمع‌آوری، پردازش، انتقال، ذخیره‌سازی و آماده‌سازی داده‌ها برای تحلیل، گزارش‌گیری و سرویس‌های هوش مصنوعی خواهید بود.

این موقعیت برای افرادی مناسب است که علاقه‌مند به طراحی Data Pipeline، ETL، Data Warehouse و کار با حجم بالای داده هستند.

مسئولیت‌ها

• توسعه Data Pipeline
• طراحی و پیاده‌سازی فرآیندهای ETL و ELT
• اتصال به منابع داده مختلف و طراحی Pipelineهای انتقال داده
• مدیریت فرآیندهای بارگذاری و به‌روزرسانی داده
• یکپارچه‌سازی منابع داده
• طراحی Data Warehouse و مدل‌های داده تحلیلی
• طراحی لایه‌های Raw، Staging و Mart و ایجاد Data Martهای تحلیلی
• بهینه‌سازی ساختار ذخیره‌سازی داده و Query Optimization
• اعتبارسنجی داده‌ها، پایش کیفیت داده و مدیریت خطاهای داده
• همکاری نزدیک با Technical Lead و تیم‌های Backend و AI
• مستندسازی ساختار داده‌ها، تعریف Metadata و Data Dictionary

مهارت‌های ضروری

• تسلط بر SQL
• تسلط بر PostgreSQL
• آشنایی مناسب با Python
• تجربه کار با Pandas و آشنایی با SQLAlchemy
• تجربه طراحی Data Pipeline
• Git و Linux

مزیت محسوب می‌شود

• تجربه یا آشنایی با Apache Airflow، Apache NiFi، Airbyte، dbt، ClickHouse، Apache Kafka، Superset، Metabase
• آشنایی با SAP، BPMS، Docker، Kubernetes
• آشنایی با پایگاه داده نرم‌افزار اتوماسیون مانند راهکاران

مسئولیت‌های مرتبط با AI

• آماده‌سازی داده برای مدل‌های هوش مصنوعی
• ساخت Semantic Layer برای AI
• آماده‌سازی Schema Metadata برای Text-to-SQL
• همکاری در طراحی سیستم‌های RAG و AI Analytics

ویژگی‌های فردی

• دقت بالا در کار با داده
• تفکر تحلیلی
• روحیه یادگیری مستمر
• مسئولیت‌پذیری
• توانایی کار تیمی و حل مسئله