На главную страницу
О журнале План выхода Подписка Интернет-Магазин Реклама Контакты и реквизиты English На главную страницу Карта сайта Поиск по сайту Обратная связь

перейти к Содержанию номера
№ 5 (131)   сентябрь–октябрь 2026 г.
Раздел: Криптография и стеганография
Число степеней свободы хи-квадрат преобразования Пирсона как некоторый эквивалент дискретной энтропии Шеннона
The Number of Degrees of Freedom in Pearson chi-square Transformation as a Certain Equivalent of Shannon’s Discrete Entropy
Александр Иванович Иванов, доктор технических наук, профессор
АО «Пензенский научно-исследовательский электротехнический институт»
A. I. Ivanov, PhD (Eng., Grand Doctor), Full Professor
Penza Research Electrotechnical Institute

Предыдущая статьяСледующая статья

УДК: 519.6

В середине прошлого века (1947 год) Клод Шеннон предложил формулу для оценки энтропии, которая приводится во всех учебниках. К сожалению, применение формулы Шеннона затруднительно из-за экспоненциальной вычислительной сложности ее практической реализации. Сделать оценку энтропии общедоступной удается, если воспользоваться хи-квадрат преобразованием Пирсона (1900 год). В своих рассуждениях Пирсон пользовался понятием «число степеней свободы» или сокращенно — чсс. Число степеней свободы дифференциальной энтропии хи-квадрат Пирсона является некоторым эквивалентом количества бит ключа дискретной энтропии Шеннона. Так как хи-квадрат преобразование имеет квадратичную вычислительную сложность, без особых проблем дифференциальная энтропия Пирсона применима к статистическому анализу сетей искусственных нейронов с очень большим числом нейронов в каждом слое.

< ... >

Ключевые слова: хи-квадрат преобразование Пирсона, число степеней свободы, сети искусственных нейронов, энтропия Шеннона, энтропия расстояний Хэмминга, корреляционная энтропия

In the mid-20th century (1947), Claude Shannon introduced a formula for calculating entropy, which is featured in all textbooks. However, applying Shannon’s formula is challenging due to its exponential computational complexity in practice. Pearson’s chi-square transformation (1900) can make entropy estimation more accessible. In his work, Pearson utilized the concept of «degrees of freedom.» The degrees of freedom in Pearson’s chi-square differential entropy are akin to the number of key bits in Shannon’s discrete entropy. Given that the chi-square transformation has quadratic computational complexity, Pearson’s differential entropy can be effectively applied to the statistical analysis of artificial neural networks with a large number of neurons in each layer.

Keywords: Pearson’s chi-square transformation, degrees of freedom, artificial neural networks, Shannon entropy, Hamming distance entropy, correlation entropy
warning!   Полную версию статьи смотрите на страницах журнала «Защита информации. Инсайд»

Обращайтесь!!!
e-mail:    magazine@inside-zi.ru
тел.:        +7 (921) 958-25-50, +7 (911) 921-68-24


Предыдущая статья    СОДЕРЖАНИЕ НОМЕРА    Следующая статья

| Начало | О журнале | План выхода | Подписка | Интернет-магазин | Реклама | Координаты |

Copyright © 2004-2026 «Защита информации. Инсайд». Все права защищены
webmaster@inside-zi.ru

   Rambler's Top100    Технологии разведки для бизнеса