کارشناس خزش وب (پیش‌پردازش داده‌های متنی)

ما برای توسعه یک مدل زبانی بزرگ (LLM) تخصصی و یک چت بات مبتنی بر آن در دانشگاه صنعتی امیرکبیر به دنبال کارشناس خزش وب و پیش پردازش داده به منظور استفاده در آموزش مدل زبانی هستیم. وظیفه این کارشناس عبارت است از:

• جمع آوری داده های مورد نیاز از طریق جستجو در سایت های اینترنتی، فروم ها، کتب، نشریات، کتابخانه های دیجیتال، پایگاه های داده عمومی، ویکی پدیا و ...
• جمع آوری داده در انواع مختلف متن، تصویر و ویدیو در قالب فایل 
• تبدیل فرمت فایل های داده به فرمت های مورد نظر و کار با داده ها
• ذخیره داده ها در پایگاه داده مناسب و مدیریت داده ها
• حصول اطمینان از تنوع و تعادل داده ها وارائه گزارشات منظم از وضعیت داده ها
• فیلتر کردن و پاکسازی داده ها
• پیش پردازش داده ها 
• سازمان دهی داده ها
• ثبت اطلاعات فراداده ای (مانند منشاء داده)
• فراهم ساختن امکان دنبال کردن تغییرات در داده ها (version control)
• توجه به ملاحظات محرمانگی داده ها، پرهیز از سوگیری
• توانایی تولید محتوا و گزارش نویسی

مهارت های مورد نیاز:

•  آشنایی با زبان برنامه نویسی پایتون، چارچوب Pandas و توانایی تعامل با APIها
• آشنایی با مفاهیم اولیه و پیشرفته جمع آوری داده از طریق خزش وب و ابزارهای مربوطه 
• آشنایی با فرمت های داده و چگونگی تبدیل داده به فرمت های مطلوب مانند JSON و CSV
• آشنایی با کتابخانه های پردازش زبان طبیعی: NLTK ، spaCy، Tokenizers و هضم
• آشنایی با پایگاه های داده برای ذخیره و مدیریت مجموعه داده های بزرگ
• روحیه کار تیمی و تعامل مناسب با افراد تیم، مدیریت زمان، سرعت عمل بالا و دقت کافی
• تجربه کار عملی با git
• آشنایی با چارچوب های مدیریت وظایف نظیر Agile

موارد امتیازی:

• فارغ التحصیلی از دانشگاه های برتر تهران در رشته های مرتبط با مهندسی کامپیوتر

حداقل مدرک تحصیلی:

• کارشناسی (یا دانشجوی سال آخر کارشناسی) مهندسی کامپیوتر و رشته های مرتبط