مهندس داده

شرح موقعیت:

ما به دنبال یک مهندس داده متخصص برای طراحی و پیاده‌سازی فرآیندهای ETL و مدیریت داده‌ها با تمرکز بر Elasticsearch هستیم. این فرد مسئول جمع‌آوری داده‌ها از منابع مختلف، آماده‌سازی و انتقال آن‌ها به Elasticsearch برای تحلیل‌های بلادرنگ و گزارش‌دهی خواهد بود.

مسئولیت‌ها:

طراحی و اجرای فرآیندهای ETL برای جمع‌آوری، تبدیل و بارگذاری داده‌ها به Elasticsearch.
پیاده‌سازی و بهینه‌سازی Pipelineهای داده برای انتقال داده‌های حجیم به Elasticsearch.
طراحی Indexهای مناسب در Elasticsearch برای جستجو و تحلیل سریع داده‌ها.
نظارت بر عملکرد Elasticsearch و بهینه‌سازی Queryها و ساختار داده.
اطمینان از کیفیت داده‌ها و یکپارچگی آن‌ها در تمامی مراحل.
مدیریت ارتباط Elasticsearch با سایر پایگاه‌های داده و منابع داده‌ای.
شرایط احراز:

تسلط کامل به Elasticsearch (نحوه طراحی Index ،Queryها و Aggregation).
تجربه در Python (کتابخانه‌هایی مانند Pandas و PySpark).
تجربه در ابزارهایی مانند Apache Airflow ،Logstash یا Beats.
مسلط به MySQL :Oracle.
مسلط به NoSQL :MongoDB.
مسلط به SQL :PostgreSQL.
تجربه در مدیریت و پردازش داده‌های حجیم (Big Data).
دانش در زمینه Data Modeling و طراحی ساختارهای بهینه برای جستجو و تحلیل.
تجربه کار با ابزارهای Streaming داده مانند Kafka (مزیت محسوب می‌شود).