Entropi (teori informasi)

Dalam teori informasi, entropi variabel acak adalah tingkat rata-rata "informasi", "kejutan", atau "ketidakpastian" yang melekat pada kemungkinan hasil variabel. Diberikan variabel acak diskrit $X$ , yang mengambil nilai dalam alfabet ${\mathcal {X}}$ dan didistribusikan menurut $p:{\mathcal {X}}\to [0,1]$ :

$\mathrm {H} (X)=-\sum _{i=1}^{n}{\mathrm {P} (x_{i})\log \mathrm {P} (x_{i})}$

di mana $\Sigma$ menunjukkan jumlah atas nilai-nilai variabel yang mungkin. Pilihan dasar untuk $\log$ , logaritma, bervariasi untuk aplikasi yang berbeda. Basis 2 memberikan satuan bit (atau "shannon"), sedangkan basis e memberikan "satuan alami" nat, dan basis 10 memberikan satuan "dit", "ban", atau "hartley". Definisi entropi yang setara adalah nilai yang diharapkan dari informasi diri suatu variabel.^[1]

Konsep entropi informasi diperkenalkan oleh Claude Shannon dalam makalahnya tahun 1948 " Sebuah Teori Matematika Komunikasi ",^[2]^[3] dan juga disebut sebagai entropi Shannon. Teori Shannon mendefinisikan sistem komunikasi data yang terdiri dari tiga elemen: sumber data, saluran komunikasi, dan penerima. "Masalah mendasar komunikasi" - seperti yang diungkapkan oleh Shannon - adalah agar penerima dapat mengidentifikasi data apa yang dihasilkan oleh sumber, berdasarkan sinyal yang diterimanya melalui saluran.^[2]^[3] Shannon mempertimbangkan berbagai cara untuk mengkodekan, memampatkan, dan mengirimkan pesan dari sumber data, dan membuktikan dalam teorema pengkodean sumbernya yang terkenal bahwa entropi mewakili batas matematis absolut tentang seberapa baik data dari sumber dapat dimampatkan tanpa mengalami kehilangan ke saluran tanpa derau sama sekali. Shannon memperkuat hasil ini secara signifikan untuk saluran berderau dalam teorema pengkodean saluran berderaunya.

Entropi dalam teori informasi secara langsung dianalogikan dengan entropi dalam termodinamika statistik. Hasil analogi ketika nilai-nilai variabel acak menunjukkan energi keadaan mikro, sehingga rumus Gibbs untuk entropi secara formal identik dengan rumus Shannon. Entropi memiliki relevansi dengan bidang matematika lainnya seperti kombinatorika dan pembelajaran mesin. Definisi tersebut dapat diturunkan dari serangkaian aksioma yang menetapkan bahwa entropi harus menjadi ukuran seberapa "mengejutkan" hasil rata-rata suatu variabel. Untuk variabel acak kontinu, entropi diferensial analog dengan entropi.

Referensi

This article incorporates material from Shannon's entropy on PlanetMath, which is licensed under the Creative Commons Attribution/Share-Alike License.

Bacaan lebih lanjut

Cover, T.M., Thomas, J.A. (2006), Elements of Information Theory - 2nd Ed., Wiley-Interscience, ISBN 978-0-471-24195-9
MacKay, D.J.C. (2003), Information Theory, Inference and Learning Algorithms , Cambridge University Press, ISBN 978-0-521-64298-9
Arndt, C. (2004), Information Measures: Information and its Description in Science and Engineering, Springer, ISBN 978-3-540-40855-0
Gray, R. M. (2011), Entropy and Information Theory, Springer.
Martin, Nathaniel F.G. & England, James W. (2011). Mathematical Theory of Entropy. Cambridge University Press. ISBN 978-0-521-17738-2.
Shannon, C.E., Weaver, W. (1949) The Mathematical Theory of Communication, Univ of Illinois Press. ISBN 0-252-72548-4ISBN 0-252-72548-4
Stone, J. V. (2014), Chapter 1 of Information Theory: A Tutorial Introduction, University of Sheffield, England. ISBN 978-0956372857ISBN 978-0956372857.

Pranala luar

Hazewinkel, Michiel, ed. (2001) [1994], "Entropy", Encyclopedia of Mathematics, Springer Science+Business Media B.V. / Kluwer Academic Publishers, ISBN 978-1-55608-010-4
"Entropy" at Rosetta Code—repository of implementations of Shannon entropy in different programming languages.
Entropy an interdisciplinary journal on all aspects of the entropy concept. Open access.

[1]

[2]

[3]