Российский учёный вывел новую теорему, изменяющую подход к оценке ограничений в машинном обучении

Борис Крюк из Гонконгского университета науки и технологий опубликовал работу, которая ставит под вопрос один из самых распространенных аргументов в научном машинном обучении.

В чём проблема

Сегодня в тысячах статей делают одно и то же. Берут модель, добавляют в неё физическое правило — например, «чем выше температура, тем сильнее пожар» или «интенсивность афтершоков со временем падает». Модель переобучают, смотрят, насколько просела точность, и сообщают: «физика стоила нам всего один процент». Вывод: наука и точность совместимы, физику можно соблюдать почти бесплатно.

Крюк показал, что эта цифра почти ничего не говорит о физике. Она говорит о том, какие ещё признаки остались у модели и как её проверяли.

Теорема

Логика, описанная Борисом, понятна даже обычному наблюдателю. Если требовать от модели, чтобы «с ростом температуры прогноз не уменьшался», то модель может пойти по пути наименьшего сопротивления — вообще перестать смотреть на температуру. Тогда прогноз не уменьшается. Формально условие выполнено.

Значит, худшее, что может сделать физическое ограничение, — заставить модель выбросить эти признаки. А цена выбрасывания признаков — это стандартный эксперимент, который и так проводят почти все и называют «аблацией».

Отсюда правило, которое проверяется одним взглядом на таблицу результатов: модель с физическим ограничением не имеет права проигрывать своей же версии, из которой эти признаки просто удалили. Если проигрывает — ошибка в вычислениях, а не открытие.

Автор подчёркивает: математическое доказательство занимает три строки. Ценность в другом — нужное для проверки число уже посчитано в подавляющем большинстве работ, но его никогда не сопоставляют со «стоимостью физики».

Проверка

Теорию проверили на данных о лесных пожарах в Евразии — почти 27 тысяч записей, три уровня тяжести. В модель заложили четыре очевидных метеорологических правила (температура, влажность, ветер, осадки), а географические координаты оставили свободными.

Координаты работают как щит. Оказалось, что одни широта и долгота — без всякой метеорологии — дают 93% точности полной модели. Проще говоря, модель запомнила, где горит, и почти не нуждается в погоде. А раз погода ей не очень нужна, то любые ограничения на погодные признаки автоматически оказываются «дешёвыми».

Цифры впечатляющие: одно и то же физическое правило стоит 0,047 при свободных координатах и 0,347, если координаты убрать. Разница в семь раз. Физика при этом абсолютно одинаковая — меняется только то, за что модель может «спрятаться».

Цифру нельзя переносить между исследованиями. Достаточно изменить способ разбиения данных на обучающую и проверочную части — и стоимость того же правила меняется в двадцать раз, а иногда меняет знак. Две работы, сообщающие «монотонность стоит 1%» и «монотонность стоит 9%», не противоречат друг другу: они просто измеряют разные вещи.

Половина экспериментов вообще ничего не измеряет. Крюк построил способ оценить собственную погрешность вычислений — и получил порог, ниже которого любые результаты бессмысленны. Затем применил критерий к своей же работе: четыре из двадцати одной ключевой цифры оказались неинтерпретируемыми, а десять экспериментов из сетки были обречены ещё до начала — их можно было отсеять двумя быстрыми запусками вместо десятков.

Соблюдение физики и её цена — не связаны. Модель без ограничений нарушала «учебниковое» правило примерно в половине случаев — то есть вела себя как подброшенная монета. При этом принудительное соблюдение того же правила стоило меньше двух процентов точности. Обе фразы — «модель не выучила физику» и «физика бесплатна» — оказались верны одновременно, хотя обычно их считают взаимоисключающими.

Вывод

Автор предлагает вместо одной цифры сообщать три: сколько стоило ограничение, каков теоретический максимум этой стоимости и какова погрешность измерения. Плюс обязательно указывать, какие признаки остались свободными.

И главное — проводить дешёвую проверку заранее: обучить две обычные модели, посмотреть, велик ли вообще потолок, и, если он меньше погрешности, не тратить время на эксперимент вовсе.