Исследователи Yandex Research рассказали про свои работы, посвященные методам оценки результатов классификации и кластеризации в машинном обучении. Их решения помогут выбирать наиболее эффективные алгоритмы.
В практических задачах машинного обучения есть проблема с оценкой результатов. Во многих областях исследований — от классификации и кластеризации до задач машинного перевода и сегментации — используются собственные наборы метрик.
В случае с уже внедренными алгоритмами можно учитывать показатели вроде увеличения числа пользователей или роста доходов, но в процессе разработки нужны более простые метрики. Между тем, применение разных метрик может привести к различным результатам оценки и, следовательно, к выбору разных алгоритмов. Поэтому важно найти подходящие показатели для оценки качества.
В статьях, опубликованных на конференциях ICML 2021 и NeurIPS 2021, исследователи Yandex Research предложили системный подход для решения проблемы: сформулировали желаемые свойства метрик и проверили, какие показатели качества им удовлетворяют. Оказалось, что некоторые популярные метрики лучше не использовать, а некоторые малоизвестные наоборот обладают хорошими свойствами.
Подробности — в посте в блоге Yandex Research.