کارشناس Data Scraping، Data Extraction و Automation

متخصص استخراج داده، جمع‌آوری اطلاعات و خودکارسازی
ما به دنبال فردی حرفه‌ای، فنی و باتجربه در زمینه استخراج داده، جمع‌آوری اطلاعات و خودکارسازی فرایندها هستیم که بتواند اطلاعات موردنیاز را از منابع مختلف جمع‌آوری، استخراج، پاک‌سازی، دسته‌بندی و در قالب یک پایگاه داده منظم و قابل استفاده ارائه کند.

این موقعیت شغلی صرفاً محدود به استخراج اطلاعات از وب‌سایت‌ها نیست. فرد موردنظر باید توانایی بررسی انواع منابع داده را داشته باشد و متناسب با هر پروژه، بهترین روش فنی را برای جمع‌آوری و استخراج اطلاعات انتخاب کند.

برای متقاضیانی که فارغ‌التحصیل دانشگاه صنعتی شریف یا دانشگاه تهران باشند، در صورت احراز شرایط تخصصی موردنیاز، 30٪ حقوق و مزایای بیشتر در نظر گرفته خواهد شد.

شرح وظایف

• استخراج اطلاعات از منابع مختلف داده
• طراحی روش مناسب برای جمع‌آوری اطلاعات در هر پروژه
• جمع‌آوری داده از وب‌سایت‌ها، سامانه‌ها و پایگاه‌های اطلاعاتی
• استخراج اطلاعات از فایل‌های متنی و ساختاریافته
• استخراج داده از فایل‌های Excel، فایل‌های متنی جدولی و اسناد
• استخراج اطلاعات از فایل‌های PDF
• استفاده از رابط‌های برنامه‌نویسی برای دریافت داده در صورت وجود
• خودکارسازی فرایندهای جمع‌آوری اطلاعات
• استخراج اطلاعات از صفحات پویا و چندمرحله‌ای
• پردازش داده‌های حجیم
• تبدیل اطلاعات خام به داده‌های مرتب و ساختاریافته
• پاک‌سازی داده‌ها
• حذف اطلاعات تکراری
• شناسایی اطلاعات ناقص
• تکمیل اطلاعات از منابع مختلف در صورت امکان
• ترکیب داده‌های به‌دست‌آمده از چند منبع
• استانداردسازی نام‌ها، شماره‌ها، آدرس‌ها و سایر اطلاعات
• بررسی صحت و کیفیت اطلاعات جمع‌آوری‌شده
• طراحی فرایندهای قابل تکرار برای پروژه‌های آینده
• تحویل اطلاعات در قالب فایل‌های Excel، جداول آنلاین یا پایگاه داده

مهارت‌های مورد نیاز

• تجربه عملی در زمینه استخراج و جمع‌آوری داده
• آشنایی قوی با برنامه‌نویسی، به‌خصوص زبان Python
• توانایی طراحی اسکریپت برای استخراج اطلاعات
• توانایی خودکارسازی فرایندهای تکراری
• توانایی استخراج اطلاعات از صفحات اینترنتی و منابع مختلف
• توانایی پردازش فایل‌های مختلف
• توانایی کار با داده‌های حجیم
• مهارت در پاک‌سازی و مرتب‌سازی اطلاعات
• توانایی تشخیص و حذف داده‌های تکراری
• توانایی ترکیب اطلاعات از چند منبع مختلف
• آشنایی با پایگاه‌های داده
• توانایی حل مسائل فنی مربوط به جمع‌آوری و استخراج داده
• دقت بالا در کنترل کیفیت اطلاعات
• توانایی تحویل خروجی منظم و استاندارد

افرادی که دارای تجربه‌های زیر باشند در اولویت هستند

• ساخت پایگاه‌های داده بزرگ برای کسب‌وکارها
• جمع‌آوری اطلاعات شرکت‌ها و سازمان‌ها
• استخراج اطلاعات تماس کسب‌وکارها
• جمع‌آوری اطلاعات مشتریان بالقوه
• تکمیل و غنی‌سازی اطلاعات موجود
• ساخت سامانه‌های خودکار برای جمع‌آوری داده
• استخراج اطلاعات از چند منبع مختلف به‌صورت هم‌زمان
• مدیریت و پردازش صدها هزار رکورد یا بیشتر
• طراحی سیستم‌های قابل توسعه برای استخراج داده
• تجربه پروژه‌های حجیم و بلندمدت
• تجربه ساخت ابزارهای اختصاصی برای جمع‌آوری اطلاعات

فرد موردنظر ما

• ما به دنبال فردی نیستیم که صرفاً اطلاعات را به‌صورت دستی کپی و وارد فایل کند.

فرد موردنظر باید توانایی حل مسئله داشته باشد و بتواند برای هر نوع منبع داده، روش مناسب جمع‌آوری اطلاعات را پیدا و اجرا کند.

ممکن است اطلاعات موردنیاز در یک وب‌سایت، فایل، پایگاه داده، سند، سامانه آنلاین یا منابع مختلف دیگر قرار داشته باشد. فرد مناسب باید بتواند بررسی کند که چگونه می‌توان این اطلاعات را به‌صورت دقیق، سریع و تا حد امکان خودکار استخراج کرد.

هدف ما ایجاد فرایندهایی است که بتوانند در مقیاس بالا اجرا شوند و در پروژه‌های آینده نیز مورد استفاده قرار گیرند.