ЗмістНатисність на посилання, щоб перейти до потрібного місця
Ентропія - це поняття з теорії інформації та статистики, яке використовується для вимірювання ступеня невизначеності або неорганізованості в системі. В контексті даних або інформації, ентропія вказує на те, наскільки великою є різноманітність або складність інформації.
Ентропія простими словами
Чим більша ентропія, тим більша невизначеність або розмаїття в даних.
Низька ентропія вказує на те, що дані є більш впорядкованими або менше різноманітними.
Приклад ентропії
Гарним прикладом ентропії може бути архівування текстових файлів.Текстовий файл який має 1000 строк (однакових) зі словом 'цейво' буде мати низьку ентропію та рівень компресії файлу при архівації буде великим (однакові дані простіше упорядкувати й компресувати).
Текстовий файл який містить 1000 різних слів - має більшу ентропію та рівень компресії буде меншим.
