کارشناس ارشد مهندس داده

وظایف و مسئولیت‌ها:
جمع‌آوری داده‌ها: طراحی سیستم‌هایی برای دریافت داده‌های خام از منابع مختلف (اپلیکیشن‌ها، سنسورها، پایگاه‌های داده)
مدیریت پایگاه داده: ساخت و نگهداری معماری پایگاه داده و پایپلاین‌های داده‌ای
ذخیره‌سازی و بهینه‌سازی: انتخاب روش‌های مناسب ذخیره‌سازی (SQL، NoSQL، Data Lake) و بهینه‌سازی عملکرد
کنترل کیفیت داده: اعتبارسنجی داده‌ها و رفع ناسازگاری‌ها برای تضمین صحت و کامل بودن اطلاعات
اتوماسیون و اسکریپت‌نویسی: نوشتن اسکریپت‌ها برای خودکارسازی فرآیندهای پردازش داده

شرایط احراز:
مدیریت پایگاه داده: تسلط بر SQL، PL/SQL و پایگاه‌های داده رابطه‌ای (Oracle, MySQL, PostgreSQL) و NoSQL (MongoDB, Cassandra, ElasticSearch).
موتورهای تحلیلی OLAP, ClickHouse
برنامه‌نویسی: توانایی کدنویسی در زبان‌های Python, Java, Scala برای ساخت pipelineهای داده و پردازش موازی.
پردازش داده‌های حجیم: تسلط با Hadoop, Spark, Kafka, Debezium برای مدیریت داده‌های عظیم و جریان‌های بلادرنگ
معماری داده و ETL: طراحی و پیاده‌سازی فرآیندهای Extract, Transform, Load برای انتقال و پاکسازی داده‌ها SSIS, ODI 
ابزارهای ابری: کار  Cloud برای ذخیره‌سازی، پردازش و مقیاس‌پذیری داده‌ها و یا محیطهای داخلی
مدل‌سازی داده: طراحی ساختار داده‌ها، نرمال‌سازی و ایجاد مدل‌های تحلیلی برای گزارش‌گیری
امنیت و کیفیت داده: تضمین صحت، امنیت و یکپارچگی داده‌ها در کل چرخه عمر
DevOps استفاده از CI/CD، Docker و Kubernetes برای استقرار pipelineهای داده
تحلیل جریان داده در زمان واقعی: توانایی کار با ابزارهایی مثل Flink یا Spark Streaming برای داده‌های لحظه‌ای
مسلط به ابرازهای گزارش سازی مانند OBIEE, POWERBI, MetaBase