ارتباطات سیار ایران - همراه اول
ارتباطات سیار ایران - همراه اول

کارشناس مهندسی داده - مرکز آکادمی همراه اول

تهران، پاسداران
تمام وقت
شنبه تا چهارشنبه؛ از ساعت 7:00 الی 17:00
-
-

این فرصت شغلی چقدر برای من مناسب است؟

1001 تا 5000 نفر
تلکام
شرکت ایرانی دارای مشتریان داخلی و خارجی
1373
خصوصی
توضیحات بیشتر

شاخص های کلیدی از نظر کارفرما

2 سال سابقه کار در گروه شغلی مشابه
Microsoft SQL Server - متوسط
PostgreSQL - متوسط
Python - متوسط
Git - مقدماتی
Linux - مقدماتی
Docker - مقدماتی
Apache Airflow - مقدماتی

شرح شغل و وظایف

1. هدف و ماموریت شغل
طراحی، توسعه و نگهداری خطوط انتقال و پردازش داده با هدف جمع‌آوری، استخراج، پاک‌سازی، استانداردسازی، ذخیره‌سازی و آماده‌سازی داده‌ها از منابع مختلف. این شغل با بهره‌گیری از ابزارها و فناوری‌های مهندسی داده، مسئولیت تضمین کیفیت، یکپارچگی، به‌روز بودن و دسترس‌پذیری داده‌ها و ایجاد زیرساخت‌های قابل‌اتکا برای پردازش و تحلیل داده را بر عهده دارد.

2. شرح وظایف و مسئولیت‌ها
  • طراحی، توسعه و پیاده‌سازی فرآیندهای استخراج، تبدیل و بارگذاری داده (ETL/ELT) از منابع اطلاعاتی مختلف.
  • توسعه و نگهداری خطوط انتقال داده (Data Pipelines) به‌منظور جمع‌آوری و انتقال داده‌ها میان سامانه‌ها و پایگاه‌های داده.
  • برقراری ارتباط با منابع داده از طریق رابط‌های برنامه‌نویسی (API) و توسعه فرآیندهای دریافت اطلاعات.
  • طراحی و توسعه خزنده‌های وب به‌منظور استخراج و جمع‌آوری اطلاعات از منابع اینترنتی.
  • استخراج و پردازش اطلاعات از اسناد و فایل‌های PDF و سایر منابع داده ساختاریافته و نیمه‌ساختاریافته.
  • پاک‌سازی، استانداردسازی و یکپارچه‌سازی داده‌های فارسی و چندزبانه و شناسایی و حذف داده‌های تکراری.
  • طراحی و بهینه‌سازی مدل‌های ذخیره‌سازی داده متناسب با نیازمندی‌های سامانه‌ها.
  • توسعه و مدیریت فرآیندهای ورود و ذخیره‌سازی داده در پایگاه داده Elasticsearch.
  • پایش مستمر خطوط انتقال داده، شناسایی خطاها و پیاده‌سازی سازوکارهای مدیریت و بازیابی خطا.
  • بهینه‌سازی عملکرد فرآیندهای پردازش و انتقال داده‌های حجیم با هدف افزایش سرعت و بهره‌وری.
  • ثبت و مدیریت منشا داده‌ها و مستندسازی فرآیندهای جمع‌آوری، پردازش و انتقال اطلاعات.
  • مدیریت فرآیند پردازش مجدد داده‌های ناموفق و اطمینان از صحت و یکپارچگی داده‌های ذخیره‌شده.
3. شایستگی‌های فنی
  • تسلط بر زبان برنامه‌نویسی Python
  • تسلط بر زبان SQL
  • تسلط بر طراحی و پیاده‌سازی فرآیندهای ETL/ELT
  • تسلط بر کار با REST API و ساختار داده JSON
  • آشنایی عملی با روش‌های استخراج اطلاعات از وب (Web Scraping)
  • تسلط بر پایگاه داده PostgreSQL
  • تسلط بر موتور جست‌وجو و تحلیل داده Elasticsearch
  • توانایی طراحی مدل داده و بهینه‌سازی ساختار ایندکس‌گذاری
  • آشنایی با سیستم‌عامل Linux
  • آشنایی با Docker و مدیریت محیط‌های اجرایی
  • آشنایی با پردازش داده‌های حجیم
  • توانایی مدیریت خطا، پردازش مجدد و زمان‌بندی خطوط انتقال داده
  • آشنایی با ابزار Git و مدیریت نسخه
4. شایستگی‌های رفتاری
  • ارتباط موثر
  • مسئولیت‌پذیری
  • پیگیری و نتیجه‌گرایی
  • دقت و توجه به جزئیات
  • کار تیمی و همکاری
6. ابزارها و فناوری‌های مورد استفاده
  • Python
  • PostgreSQL
  • Elasticsearch
  • Apache Airflow
  • Docker
  • Linux
  • Git
  • Pandas
  • Requests / httpx
  • BeautifulSoup
  • Scrapy / Playwright
  • Kibana
  • MinIO

شرایط احراز شغل

جنسیت
تفاوتی ندارد
نرم افزارها
Python| متوسط Microsoft SQL Server| متوسط PostgreSQL| متوسط Linux| مقدماتی Docker| مقدماتی Git| مقدماتی Apache Airflow| مقدماتی

ارسال رزومه برای ارتباطات سیار ایران - همراه اول

گزارش مشکل یا تخلف آگهی