В середине прошлого века (1947 год) Клод Шеннон предложил формулу для оценки энтропии, которая приводится во всех учебниках. К сожалению, применение формулы Шеннона затруднительно из-за экспоненциальной вычислительной сложности ее практической реализации. Сделать оценку энтропии общедоступной удается, если воспользоваться хи-квадрат преобразованием Пирсона (1900 год). В своих рассуждениях Пирсон пользовался понятием «число степеней свободы» или сокращенно — чсс. Число степеней свободы дифференциальной энтропии хи-квадрат Пирсона является некоторым эквивалентом количества бит ключа дискретной энтропии Шеннона. Так как хи-квадрат преобразование имеет квадратичную вычислительную сложность, без особых проблем дифференциальная энтропия Пирсона применима к статистическому анализу сетей искусственных нейронов с очень большим числом нейронов в каждом слое.
< ... >
In the mid-20th century (1947), Claude Shannon introduced a formula for calculating entropy, which is featured in all textbooks. However, applying Shannon’s formula is challenging due to its exponential computational complexity in practice. Pearson’s chi-square transformation (1900) can make entropy estimation more accessible. In his work, Pearson utilized the concept of «degrees of freedom.» The degrees of freedom in Pearson’s chi-square differential entropy are akin to the number of key bits in Shannon’s discrete entropy. Given that the chi-square transformation has quadratic computational complexity, Pearson’s differential entropy can be effectively applied to the statistical analysis of artificial neural networks with a large number of neurons in each layer.
Keywords:
Pearson’s chi-square transformation, degrees of freedom, artificial neural networks, Shannon entropy, Hamming distance entropy, correlation entropy