شرح وظایف کلیدی:

- ایجاد و پایش جریان های تحلیل داده با استفاده از ابزارهای تحلیلی و زبان‌های برنامه نویسی
-تحقیق و توسعه در حوزه Big Data جهت یافتن بهترین رویکردهای حل مسائل داده ای و بکارگیری ابزارهای توزیع شده جهت پردازش و ذخیره سازی داده حجیم
- طراحی و نگهداری پایپ لاین های داده به منظور استخراج، پالایش و بارگذاری اطلاعات (ETL) از انواع منابع داده ای مختلف
-اطمینان از کیفیت و تمامیت داده و استفاده از روش های هوشمند برای بهینه کردن و مقیاس پذیر کردن پایپ لاین های داده
- همکاری مداوم و مناسب با تیم تحلیل کسب وکار به‌ منظور فهم و دریافت دقیق نیازهای داده
- پشتیبانی از چرخه عمر توسعه نرم افزار


نیازمندی‌ها و شایستگی‌های کلیدی:

- آشنایی با مفاهیم حوزه کلان داده
- آشنایی با مفاهیم پایگاه‌های داده رابطه‌ای و تسلط به یکی از پایگاه‌های داده SQL Server ، MySQL ، Postgres ، Oracle
- تجربه مناسب در حداقل یکی از زبان‌های Python ، Java
- آشنایی با سیستم‌های کنترل نسخه مانند GIT
- تجربه کار با سیستم عامل لینوکس


مواردی که آشنایی با هرکدام آن‌ها مزیت محسوب می‌گردد:

- آشنایی و دانش کار با دیتابیس‌های NoSQL
- آشنایی یا تجربه کار با ابزارهای حوزه کلان داده همانند Apache Spark ، Apache Kafka ، Apache NiFi ، Apache Hadoop
- آشنایی با مفاهیم شبکه
- آشنایی با مفاهیم مجازی سازی و Docker
- آشنایی با مفاهیم کلاسترینگ و معماری‌های توزیع شده
- آشنایی با Data Visualization و تجربه کاری با یکی از ابزارهای مرتبط همانند PowerBI
- آشنایی با یکی ابزارهای مانیتورینگ همانند Grafana ، Prometheus ، Zabbixlikns