Data Engineer

هدف شغل
مسئولیت طراحی و پیاده سازی راهکار های مدیریت، نگهداری، امنیت و یکپارچگی داده های سازمان را بر عهده دارد و می کوشد تا تمامی داده ها جمع آوری شده و در دسترس همگان برای استفاده های تحلیلی و پردازشی قرار گیرد.

توانمندی ها
تسلط بر طراحی پایگاه های داده SQL و NoSQL با توجه به نیازمندی های مطرح شده
تسلط بر SQL و T-SQL برای کار با پایگاه های داده
تسلط بر یکی از زبان های برنامه نویسی شامل Python, Scala, …
تسلط بر روش ها و مفاهیم مدل سازی داده، نگهداری داده (Data Warehouse, Data Mesh, …)  و تکنیک های ETL و ELT
تجربه کار با زیرساخت های ابری و سرور های مرتبط با داده و یا Pipeline ها
آشنایی با مفاهیم علم داده و یادگیری ماشین
تسلط بر ابزار های کلان داده و Pipeline ها مانند Hadoop, Spark, Airflow, Snowflake و ...
تسلط بر مفاهیم BI و تجربه کار با یکی از نرم افزار های این حوزه مانند Power BI, Qlik Sense, Tableau
آشنایی با مفاهیم Storage  و شبکه و پشتیبان گیری
توانایی کار تیمی 
مسئولیت پذیری و توانایی خود راهبری در امور محوله 
علاقه مند به حل چالش ها و یادگیری مباحث جدید 
تمرکز بالا 
توانایی حل مسئله 
رویکرد خلاقانه در حل مساله

مسئولیت ها
توسعه، تست و نگهداری معماری های داده شامل پایگاه های داده و سیستم های پردازشی با مقیاس بالا (Data Lake, Data Warehouse, …)
حصول اطمینان از تطابق سیستم ها با خواسته های سازمان و روش های استانداردر حوزه یکپارچگی و امنیت داده و عملکرد سیستم های مرتبط
استفاده از زبان های برنامه نویسی مناسب برای جمع آوری داده از سیستم های مختلف
توصیه و پیاده سازی راهکار های بهبود کیفیت، بهره وری و اطمینان از داده ها
همکاری با سایر اعضای تیم برای دستیابی، پایش، مرتب سازی و نگهداری داده ها برای استفاده های تحلیلی و پردازشی
استفاده از ابزار های تحلیلی، یادگیری ماشین و روش های آماری برای آماده سازی داده های predictive در کاربری های AI, ML
شرکت و همکاری در طراحی و توسعه محصول از نیازمندی های مطرح شده
همکاری با سایر متخصصان برای ارائه بهترین محصولات و خدمات مطابق با چشم انداز و ماموریت های شرکت
بروزرسانی مستمر فرآیند ها، ابزار ها و مستندات برای ارتقای دانش شخصی و جمعی اعضای تیم (Workflow, Toolchain, Documents)