Machine Learning
Статья
Время чтения
5 минут
Машинное обучение (Machine Learning, ML) — подраздел искусственного интеллекта (ИИ) и специализированный способ обучения компьютера или отдельных программ без использования программирования или строгих инструкций.
Машинное обучение подразумевает анализ данных для выявления в них закономерностей и имитации процесса получения опыта с пошаговым повышением точности.
ML может применяться для классификации данных, построения прогнозов, выявления показателей и других задач.
Примечание: У машинного обучения адаптивный характер, поэтому оно может применяться в сценариях с постоянным изменением данных, запросов или задач. Это делает ML универсальным инструментом для решения бизнес-задач и обеспечивает широкую применяемость — по оценке аналитиков объем рынка машинного обучения уже к 2025 году составит $39.98 млрд.
Обучение алгоритмов ML состоит из 4 этапов:
Сбор и подготовка данных. Объединение доступных данных и проверка на целостность, структурированность и наличие ошибок.
Обучение модели. Разделение данных на две группы: для проверкии обучения.
Проверка модели. Сопоставление соответствия и точности конечной модели данных с предварительно выбранным набором для проверки.
Интерпретация результатов. Изучение полученных данных для разработки аналитики, формирования выводов и прогнозирования результатов.<
Типы машинного обучения
Выделяют два типа машинного обучения:
дедуктивное;
индуктивное.
Дедуктивное обучение подразумевает наличие сформулированных и формализованных знаний, объединенных в базу знаний. В ней указываются условия и соответствующие действия — например, включение кондиционера при повышении температуры выше 25 градусов или увлажнителя при снижении влажности. Дедуктивное обучение применяется для выведения новых правил и взаимосвязей, относящихся к конкретному случаю.
Индуктивное обучение подразумевает выявление закономерностей в эмпирических данных, то есть связано с постоянным анализом. Оно направлено на получение знаний из данных и предназначено для разработки прогнозов на основе выявленных закономерностей. Для индуктивного обучения используются разные методы: контролируемое (с учителем), неконтролируемое (без учителя) и обучение с подкреплением.
Методы машинного обучения
Контролируемое машинное обучение — метод ML с применением наборов размеченных (с установленными закономерностями) данных, которые можно классифицировать и использовать для прогнозирования результатов. При контролируемом обучении задействуются:
нейронные сети;
наивный байесовский классификатор;
логистическая регрессия и другие методы.
Контролируемое ML используется в спам-фильтрах, для распознавания языков, принятия решений о выдаче кредитов.
Неконтролируемое машинное обучение — метод ML, используемый для обучения алгоритмов с применением неразмеченных наборов данных.Такие модели используются, когда нужно без помощи человека выявить закономерности и взаимосвязи в данных.
При контролируемом обучении используются:
сингулярное разложение;
вероятностная кластеризация;
нейросети;
кластеризация методом k-средних и другие методы.
Обученные таким способом модели используются для разноуровневой аналитики, разделения клиентов на сегменты, нахождения шаблонов и распознавания общих признаков.
Машинное обучение с подкреплением — метод ML, сочетающий преимущества контролируемого и неконтролируемого обучения. Процесс разделен на два этапа:
обучение модели на размеченных данных для настройки алгоритма классификации и распознавания признаков;
самостоятельное обучение модели на неразмеченных наборах данных.
То есть, обучаемой модели предоставляется начальный набор правил, по которому модель продолжает обучаться до получения результата.
Метод применяется в логистике, при тактическом планировании задач и разработке маршрутов для механизмов автоматического вождения автомобилей.
Варианты применения ML
Машинное обучение используется в разных сценариях. Распространенные варианты:
Прогнозирование поведения клиентов. Для интеллектуального анализа данных: выявления закономерностей особенностей поведения, причин отказа и других сведений, необходимых для оптимизации стратегии развития компании.
Разработка механизмов рекомендаций. Для изучения паттернов поведения заказчиков и обработки информации об их предпочтениях для персонализации предложений и увеличения числа привлеченных клиентов. Механизмы рекомендаций используются многими, например: Amazon, Netflix, Spotify и другими.
Компьютерное зрение. Для извлечения информации из изображений, видео и других визуальных данных для последующего принятия решений. Например, компьютерное зрение используется для распознавания объектов на картинке, проектирования и других задач.
Оценка рисков. Для анализа исходных данных о человеке и событии и разработке персонализированных прогнозов. Например, ML используется банками для оценки кредитоспособности клиента и принятия решения о выдаче кредита, а также автоматическими банковскими системами для выявления мошеннических операций.
Повышение целостности данных. Для нахождения закономерностей в доступном наборе размеченных или неразмеченных данных для восстановления недостающей или частично поврежденной информации.
Составление прогнозов спроса. Для изучения пользовательского спроса в течение недели, месяца, года или другого периода и прогнозирования объема продаж для подготовки необходимого складского запаса. Такое прогнозирование исключает как неоправданные инвестиции в товар, так и случаи его недостатка на складе.
Повышение безопасности. Для отслеживания и распознавания подозрительных действий или приемов злоумышленников, а также разработки методов противодействия им. В этом случае ML применяется для оптимизации и повышения эффективности корпоративных систем информационной безопасности.
Планирование логистики. Для разработки коротких и безопасных маршрутов доставки товаров, в том числе с учетом данных о загруженности дорог, их состояния, риска аварий и других доступных компании сведений.
Примечание: На облачной платформе Cloud.ru представлен набор инструментов и сервисов, необходимых для применения машинного обучения в разных сценариях,. Среди доступных решений: платформа для совместной ML-разработки ML Space с ускорением до +1700 GPU Tesla v100 и A100 и другие.
Потенциал машинного обучения
Machine Learning имеет практическое значение для разнопрофильных компаний, помогая ускорить анализ данных и принятие решений, повысить точность прогнозов и решать другие задачи — это подтверждает опрос компании Algorithmia.
По итогам 2020 года 34% компаний использовали ML в бизнес-процессах и уже к 2024 году объем рынка машинного обучения составит $30.6 млрд при ежегодном росте сферы на 44%.
Технология машинного обучения продолжает совершенствоваться, а инструменты для ее использования — становятся функциональнее и доступнее. Благодаря этому, можно ожидать, что в ближайшие годы ML перестанет быть инновацией и будет использоваться повсеместно, обеспечивая компаниям конкурентные преимущества.
