Исследователи Университета Кукмин и Hyundai Motor представили метод SharedKD для сжатия моделей 3D-детекции, которые используют в системах восприятия окружающей среды. На тесте nuScenes он показал NDS на 2,55% выше предыдущего рекорда, хотя из модели убрали 75% ее структуры.
Авторы объединили pruning и дистилляцию знаний в одном подходе. Обычно при таком обучении большая сеть-учитель и компактная сеть-ученик существуют отдельно, а здесь полная версия сама выступает динамическим учителем для уменьшенной подсети.
За выбор компонентов отвечает градиентно-управляемый механизм, поэтому отдельную постоянно поддерживаемую модель-учителя создавать не нужно. По данным Университета Кукмин, это должно снижать вычислительную нагрузку и время выполнения, но в опубликованных материалах нет измерений по задержке, памяти, энергопотреблению или работе на автомобильных ускорителях.
Метод проверили на nuScenes, наборе данных для систем автономного вождения с данными автомобильных сенсоров и разметкой объектов. NDS, который используют для комплексной оценки 3D-детекции, учитывает несколько характеристик качества распознавания и локализации объектов в пространстве.
Результат относится именно к коэффициенту pruning 75% и именно к этому бенчмарку. В опубликованных материалах не приводятся данные о серийном применении, поэтому речь идёт об исследовательском результате, а не о готовой автомобильной системе.