Активационные функции для глубокого обучения построенные на основе обобщённых энтропий

Энтропия Шеннона (Больцмана--Гиббса) является фундаментом классической статистической механики и глубокого обучения, однако она имеет сложности с описанием динамики неэкстенсивных систем . В данной работе предлагается применение обобщённых энтропий для построения новых фундаментальных блоков в архитектурах глубоких нейронных сетей. Предложенный подход обобщает классический слой softmax с использованием параметрических энтропий Реньи, Тсаллиса и Шарма-Миттала. Параметры \(q\) и \(r\) контролируют форму распределения: при \(q \to 1\) оптимальное распределение сходится к softmax, а при \(q = 2\) --- к sparsemax. В частности, рассматривается вариант, соответствующий \(q\)-entmax, где адаптивность достигается изменением параметра \(q\) при фиксированном \(r\). Исследование включает получение аналитических выражений якобиана по параметрам \(q\) и \(r\) с целью оптимизации через методы явного дифференцирования. Проведен сравнительный анализ с существующими подходами --- softmax, sparsemax и entmax (при \(q \in \{1.25,1.5,1.75\}\)). Полученные результаты демонстрируют рост метрик качества относительно подходов с softmax, sparsemax и q-entmax для задачи классификации со скоррелированными метками классов, что позволяет сделать вывод о преимуществе метода на основе Шарма-Миттала для поставленной задачи.