Сервис «Работа.ру» обучил языковую модель на базе ML Space и суперкомпьютера Christofari Neo
Команда сервиса сократила time-to-market языковой модели HRBert в 10 раз и в результате улучшила качество услуг.
О компании
«Работа.ру» — сервис для быстрого поиска работы и подбора персонала, один из лидеров рынка онлайн-рекрутмента. Проект ориентирован на все профессиональные группы соискателей — на сайте представлены массовые позиции, вакансии специалистов, менеджеров среднего звена и топ-менеджеров.
Цель проекта
Команда сервиса постоянно работает над улучшениями собственного ИТ-продукта, и на этот раз специалисты задались целью повысить качество предоставляемых услуг за счет обучения языковой модели HRBert на основе open source модели RoBERTa.
В качестве ресурсов для обучения данной модели планировалось использовать 4 видеокарты NVIDIA GeForce RTX 2080 Ti c 11ГБ памяти, а также Tesla T4 16ГБ. Поскольку объем собранных данных для модели составляет около 2 ТБ, примерное время обучения на этих ресурсах — больше 140 дней. Такой длительный срок обучения срывал планы по обновлению сервиса — требовалось быстрое решение и большее количество мощностей.
Почему Cloud.ru
«Работа.ру» уже успешно использует облачную платформу Advanced для построения ИТ-инфраструктуры в облаке, поэтому выбор облачного провайдера в рамках этого проекта был очевиден.
Команда сервиса обратилась в Cloud.ru за доступом к облачной платформе ML Space для обучения языковой модели.
Решение
Перед стартом работы на платформе команда ML Space провела короткую обучающую демо-презентацию, через час после которой специалисты «Работа.ру» уже смогли самостоятельно загрузить данные для обучения HRBert.
Обучение модели было запущено в сервисе Environments ML Space на мощнейших картах Tesla A100 с 80ГБ памяти суперкомпьютера Christofari Neo.
Результат
Команда сервиса переместила процессы ML-разработки в облако в кратчайшие сроки, ускорила обновление собственного ИТ-продукта и осталась довольна качеством обученной модели HRBert.
Языковая модель помогла улучшить поиск и выстроить рекомендательную систему в сервисе. В итоге клиенты-соискатели могут быстрее находить интересующие их вакансии, а клиенты-работодатели стремительнее подбирать сотрудников по резюме.
Благодаря ресурсам Cloud.ru «Работа.ру» сократила время обучения модели до 15 дней, то есть почти в 10 раз уменьшила технический time-to-market.
Дальнейшие планы
Сейчас команда «Работа.ру» собирает данные для обучения новых моделей и планирует вновь обратиться за ресурсами.
«Команда Cloud еще в самом начале нашего сотрудничества организовала чат технической поддержки для оперативного решения всех вопросов по платформе и обучению модели. Было даже несколько кейсов, когда мы писали в выходные после девяти вечера, и нам быстро отвечали. Техподдержка правда работает круглосуточно.
По результатам данного проекта у нас появилось множество идей как улучшить языковую модель, увеличить количество сценариев её применения и повысить качество использования. Мы остались довольны работой на платформе ML Space и мощностями Christofari Neo — планируем и далее обучать модели на платформе, а также оптимизировать сроки обновлений с учетом ресурсов и оперативной техподдержки Cloud»
«Предоставлять клиенту необходимые сервисы и инфраструктуру в кратчайшие сроки для кейсов любого масштаба — наша главная задача. А с учетом социальной значимости использования ML-модели в решении “Работа.ру” мы вдвойне рады возможности помочь с реализацией»
Посмотрите выступление команды «Работа.ру» на конференции GPN Data Science Meetup и узнайте больше про модель HRBert:
Запросите бесплатную консультацию по вашему проекту
