مهندس داده

ما به دنبال یک مهندس داده با تجربه و درک عمیق از سیستم های دریاچه های داده، انبارهای داده و پایگاه داده هستیم. در این نقش، شما مسئول طراحی، توسعه و بهینه سازی زیرساخت های داده در مقیاس بزرگ خواهید بود تا یکپارچگی بی نقص، دسترسی بالا و مقیاس پذیری را تضمین کنید. کاندید ایده ال باید در روش های مدیریت داده تخصص قوی داشته باشد و بتواند راه حل های پیشرفته ای را برای پشتیبانی از جریان های کاری تحلیلی پیچیده و نیازهای بلادرنگ (real-time) پیاده سازی کند. همچنین، شما با تیم های هوش مصنوعی همکاری نزدیک خواهید داشت تا مدل ها و راه حل های هوشمندی ایجاد کنید که از داده های ما به طور موثر بهره برداری کنند.

مسیولیت های کلیدی
توسعه خطوط لوله داده: طراحی، توسعه و نگهداری خطوط لوله ETL/ELT مقیاس پذیر برای استخراج، تبدیل و بارگذاری کارآمد داده ها در سیستم های متنوع. اطمینان از سازگاری، قابلیت اطمینان و قابلیت حسابرسی داده ها.
مدیریت دریاچه و انبار داده: رهبری در طراحی، بهینه سازی و نگهداری دریاچه ها و انبارهای داده برای سازمان دهی و بازیابی کارآمد داده ها، تسهیل تصمیم گیری مبتنی بر داده.
مدیریت پایگاه داده: مدیریت و بهینه سازی پایگاه های داده رابطه ای و NoSQL برای تضمین عملکرد بالا، یکپارچگی داده و امنیت. استفاده از تکنیک هایی مانند ایندکس گذاری، شاردینگ و تکرار.
یکپارچه سازی و تجمیع داده: توسعه جریان های کاری برای یکپارچه سازی و تجمیع داده ها از منابع متعدد، ایجاد مجموعه داده های غنی شده مناسب برای تحلیل و گزارش دهی.
بهینه سازی عملکرد: نظارت و بهبود مستمر عملکرد دریاچه های داده، انبارهای داده و خطوط لوله مرتبط برای مدیریت ورودی و تبدیل داده های بزرگ مقیاس.
تضمین کیفیت داده: با پیاده سازی و اعمال استانداردهای کیفیت داده، شامل اعتبارسنجی خودکار، تشخیص ناهنجاری و فرآیندهای تطبیق، دقت و قابلیت اطمینان داده ها را تضمین نمایید.
روحیه کار تیمی: با همکاری نزدیک با دانشمندان داده، تحلیل گران کسب وکار و مهندسان هوش مصنوعی، اطمینان حاصل کنید که زیرساخت داده از تحلیل ها، یادگیری ماشین و اهداف کسب وکار پشتیبانی می کند؛ این همکاری امکان توسعه بی نقص مدل های هوش مصنوعی را فراهم می اورد.
پشتیبانی زیرساخت: با تیم DevOps همگام شوید تا استقرار زیرساخت های داده ابری را سازمان دهی کنید، از ابزارهای "زیرساخت به عنوان کد" بهره ببرید و مقیاس پذیری، تحمل خطا و بازیابی از فاجعه را تضمین نمایید.

مهارت ها و صلاحیت ها
مهارت های ارتباطی: تسلط قوی در ارتباط نوشتاری و گفتاری انگلیسی برای بیان موثر مفاهیم فنی به ذینفعان فنی و غیرفنی.
تجربه: حداقل 3 سال تجربه حرفه ای در مهندسی داده، با تخصص عملی در مدیریت دریاچه های داده پیچیده، انبارهای داده و پایگاه های داده توزیع شده.
دریاچه های داده: تجربه اثبات شده در طراحی و پیاده سازی معماری های دریاچه داده با استفاده از ابزارهایی مانند Amazon S3، Azure Data Lake یا Google Cloud Storage.
انبار داده: تخصص در پلتفرم هایی مانند Amazon Redshift، Snowflake یا Google BigQuery، با تمرکز بر طراحی پیشرفته اسکیما و بهینه سازی کوئری.
مدیریت پایگاه داده: تسلط قوی به SQL، با تجربه در مدیریت پایگاه های داده رابطه ای (مانند PostgreSQL و MySQL) و سیستم های NoSQL (مانند MongoDB و Cassandra).
توسعه ETL: مهارت در ابزارهای ETL مانند Apache Airflow، Talend یا Informatica برای خودکارسازی جریان های کاری داده.
برنامه نویسی: مهارت های قوی در Python، با تاکید بر نوشتن کد تمیز، ماژولار و مستند.
پردازش داده های بزرگ: دانش عمیق از فریم ورک های داده بزرگ مانند Apache Spark، Hadoop یا Kafka برای پردازش داده های توزیع شده و جریانی.
پلتفرم های ابری: تجربه عملی با پلتفرم های ابری مانند AWS، Google Cloud یا Azure، شامل استفاده از ابزارها و خدمات ابری.
جریان بلادرنگ: تجربه با پلتفرم های جریان داده بلادرنگ مانند Apache Kafka یا Amazon Kinesis برای نگهداری خطوط لوله بلادرنگ.

مهارت های ترجیحی
کانتینرسازی و ارکستراسیون: تجربه با Docker و Kubernetes برای کانتینرسازی و مدیریت بارهای کاری توزیع شده.
تصویری سازی داده: آشنایی با ابزارهایی مانند Power BI یا Tableau برای پشتیبانی از بینش های کسب وکار و گزارش دهی.