Πληροφορια και Εντροπια

Κβαντικη Θεωρια και Υπολογιστες
Πληροφορια και Εντροπια
Χειμερινο Εξαμηνο
Iωαννης E. Aντωνιου
Τμημα Μαθηματικων
Aριστοτελειο Πανεπιστημιο
54124, Θεσσαλονικη
iantonio@math.auth.gr
http://users.auth.gr/iantonio
Πληροφορια και Εντροπια
Τι ειναι Πληροφορια?
Eντροπια Boltzmann-Shannon
Κβαντικη Πληροφορια
Τι ειναι Πληροφορια?
Ποση Πληροφορια λαμβανω Παρατηρωντας το Συστημα?
H Θεωρια Πληροφοριας ειναι το Μαθηματικο Μοντελο της Επικοινωνιας
Συστημα Επικοινωνιας
Η μεταδοση τής πληροφορίας απαιτεί:
Τον Διαυλο Επικοινωνιας ενα φυσικό συστημα-φορεα πού συνδέει στό χώρο καί στό χρόνο
την Πηγη της Πληροφοριας με τον Αποδεκτη της Πληροφοριας.
SOURCE
ΠΗΓΗ
TRANSMITTER
ΠΟΜΠΟΣ
CHANNEL
ΔΙΑΥΛΟΣ
MESSAGE
ΜΗΝΥΜΑ
RECEIVER
ΔΕΚΤΗΣ
MESSAGE
ΜΗΝΥΜΑ
ΘΟΡΥΒΟΣ
ΠΑΡΕΜΒΟΛΕΣ
Εξουσιοδοτημενες
Μη Εξουσιοδοτημενες
Spies, Hackers
DESTINATION
ΠΡΟΟΡΙΣΜΟΣ
SOURCE
Nature
Show
Αuthor
Orchestra
Painter
Genotype
People
TRANSMITTER
Observable
Events
TV Station
Editor
Amplifier
Painting
DNA
PC
CHANNEL
Experimental
Devise
EM Field
Distribution
Network
Concert Hall
Exhibition Hall
Biomolecular
Web
Internet
RECEIVER
Voltmeter
Thermometer
Tηλεσκοπιο
TV-Receiver
Eyes, Brain
MESSAGE
Changes of Variables
DESTINATION
Scientist
Images,Sounds
Text
Τηλεθεατης
Ears,Eyes, Brain Musical Piece
Eyes, Brain
Image
Phenotype
Bio-Information
PC
People
People
People
Organism
Email,Text,Image,Video People
Eντροπια Boltzmann-Shannon
Shannon in his revolutionary and groundbreaking paper
[Shannon C. ,Weaver W. 1949, The Mathematical Theory of Communication,
Univ. Illinois Press, Urbana]
introduced the qualitative and quantitative model of communication as
a statistical process underlying information theory, opening with the assertion that
“Τhe fundamental problem of communication is that of
reproducing at one point, (DESTINATION)
either exactly or approximately,
a Message selected at another point (SOURCE)
Frequently the messages have meaning; that is they refer to or are correlated according to
some system with certain physical or conceptual entities.
These semantic aspects of communication are irrelevant to the engineering problem.
The significant aspect is that
the actual message is one selected from a set of possible messages.
The system must be designed to operate for each possible selection,
not just the one which will actually be chosen since this is unknown at the time of design.”
Shannon Information Theory is Syntactic Information Theory
The Meaning of Symbols is not considered
The 5 Basic theorems of Information Theory
The 5 Basic theorems of Information Theory
1. Source Coding Theorem= Data Compression Theorem=
=Shannon-McMillan-Breiman Thm = Ergodic Thm =Asymptotic Equipartion Thm
Find shortest sequences to code messages
2. Channel Coding Theorem
Reliable Information Transmission over Unreliable (Noisy) Channels
Error Correction Codes
3. Rate Distortion Theorem
Min Distortion
4. Sampling Theorem
How to Transform Continuous (Functions) Messages to Discrete (Functions) Messages
5. Cryptography Theorem
Min Information Rate for Max (Unconditional) Security
Πληροφορια
Προελευση
Εφαρμογες
Εντροπια Θερμοδυναμικη
Στατιστικη Μηχανικη Boltzmann, Gibbs
Στατιστικη Φυσικη
Επενδυτικα Χαρτοφυλακια
Βιοιατρικη
Μηχανες Αναζητησης
Γλωσσολογια
Διαυλοι Επικοινωνιας
Υπολογιστες, Ορια Υπολογισιμοτητας
Εκτιμησεις Πολυπλοκοτητας
Προσεγγισεις
Αποφασεις
Internet, WWW
Koινωνιολογια, Πολεμος, Απατη
Eπικοινωνια Shannon
Πολυπλοκοτητα Επεξεργαστων Kolmogorov
Στατιστικες Εκτιμησεις Fisher
Δικτυα
Information and Communication Technology is Application of Information Theory
PC, CD-ROM, DVD, GSM, GPS, WWW
[ Negroponte N. 1995, Being Digital, Hodder London.
Ελλην. Μεταφρ. Eκδ. Καστανιώτης, Αθηνα, 2000
Dertouzos M. 1997, What Will Be? How the World of Information Will Change Our Lives, Harper
Collins, New York. Ελλην. Μεταφρ. Eκδ. Γκοβοστη 1998.
Dertouzos M. 2001, The Unfinished Revolution : How to Make Technology Work for Us--Instead
of the Other Way Around, Harper Collins, New York.
Ελλην. Μεταφρ. Eκδ. Λιβανη, Αθηνα, 2001 ]
Berners-Lee T, Fischetti M. 1997, Weaving The Web , Harper Collins, New York.
Ελλην. Μεταφρ. Eκδ. Γκοβοστη , Αθηνα, 2002.
Berners-Lee T, Hall W., ea 2006, A Framework for Web Science, Found. Trends in Web
Science 1, 1-130. Ελλην. Μεταφρ. Βαφοπουλος, Hyperconsult 2007
Shadbolt N., Hall W., Berners-Lee T. 2006, The Semantic Web Revisted ]
Knowledge Processing 21st Century
Meta-Data
Feature Selection
Νοημα, Σημασια, Σημασιoλογικη Επεξεργασια. Οντολογιες
Semantic Web
Mind, Consciousness
Πληροφορια (Συντακτικη) Shannon
Πληροφορια Γεγονοτος/Μηνυματος Ξ ∈ B[Y]
Εστω (Y, ℬ[Y]) Μετρησιμος Χωρος.
Εστω p κατανομη Πιθανοτητος στα Μετρησιμα Υποσυνολα (της ℬ[Y]).
Η p προκυπτει απο Στατιστικη Εκτιμηση ειτε απο Θεωρητικη Υποθεση
H Πληροφορια [Ξ] του Γεγονοτος / Μηνυματος Ξ, για καθε Ξ στην ℬ[Y]
ειναι μια εκτιμηση της Αβεβαιοτητας που αιρεται
μετα την προσληψη του μηνυματος / παρατηρησης του Ξ
𝒾[Ξ] εξαρταται απο τον αριθμο των δυνατοτητων που περιοριζονται
μετα την προσληψη του μηνυματος/παρατηρησης του Ξ
𝒾[Ξ] εξαρταται απο τον αριθμο των δυνατων περιπτωσεων που αντιστοιχουν
στο μηνυμα / παρατηρηση του Ξ
H Πληροφορια των Στοιχειωσων Γεγονοτων ειναι Συνολο-συναρτηση (Set Function)
στην Αλγεβρα Boole ℬ[Y]
Ορισμος Shannon για την 𝒾[Ξ]
𝒾[Ξ] ο ελαχιστος αριθμος των ανεξαρτητων ισοπιθανων
Δυαδικων (ΝΑΙ/ΟΧΙ) αποφασεων που απαιτουνται
για να πληροφορηθει καποιος, οτι το γεγονος Ξ πραγματοποιηθηκε,
χωρις αλλη εκ των προτερων (a priori) πληροφορια
p[Ξ] =
1 𝒾[Ξ]
� �
2
⟺
1
p[Ξ]
= 2𝒾[Ξ] ⟺
𝒾[Ξ] = −log2 p[Ξ] = −ld p[Ξ]
ΠΑΡAΔΕΙΓΜΑ:
Koρωνα-Γραμματα
1 δυαδικη ισοπιθανη αποφαση
1
p[K]=
2
1 1
=� �
2
⟹ 𝒾[K]=1bit
𝒾[Ξ]=−ldp[Ξ]
p[Ξ]
The 20 Questions Game
Del Lungo A. Louchard G.ea 2005 ,
The Guessing Secrets Ρroblem: a Ρrobabilistic Αpproach,
Journal of Algorithms 55, 142–176
Μπορω να αναγω ολα τα Ερωτηματα σε Στοιχειωσεις Ερωτησεις?
σε δυαδικες Αποφασεις? ΝΑΙ
Eαν
Τοτε
1 ν1
p[Ξ]= � �
α
1 ν2
� �
β
…
1 ν1 ldα 1 ν2 ldβ
p[Ξ]= � �
� �
…
2
2
Υπομν. α=2ldα
=
1 ν1 ldα+ν2 ldβ+⋯
� �
2
Πληροφορια Moναδες Μετρησης
1Byte=1B=23 bits=8bits
1KB=210 B=1024B
1MB=210 KB=1024KB=1048576B
1GB=210 MB=1024MB=1048576MB=1073741824KB ≅ 1.1x1012B ≅ 8.8 x1012bits
Ποσα Πληροφοριας
TV Image
ld10414720bits =1.4 x 106 bits
(576 lines , 720 columns) = 414720 px and 10 luminosity scales
1 chromosome
ld4100000bits = 2 x 105 bits
DΝΑ as 4 Symbol Message
Information in Bacteria
Memory Cells,
E. Coli (2011)
Cells in the Human Body
Brain Neurons
Brain Synaptic Links
Brain Memory
Cyberspace 2007:
Cyberspace 2012:
Cyberspace Indexed
Google 0.004%
Atoms in 12gr C
Universe
Chess
GO
Eternity II
900000 GB
> 1014
~1011
~1015
2.5 PetaBytes = 1048576 GB ≈ 8.8 x 1018 bits
≈ 300 years of TV recording !
281 billion GB=281x109GB≅2.5x1021bits
3.6 x 1022 bits
1018 bits 2007
1.4 x 1018 bits 2012
6,022 x 1023
10100 bits
1043 bits
10200 bits ?
10550 bits
Ο. Πληροφορια (Shannon) της TM Α ειναι
η Πληροφορια (Shannon) της Διαμερισης ξ={Ξν, ν=1,2,…,n}, n∈ℕ που οριζει η ΤΜ A
Εστω (Y, ℬ[Y]) Μετρησιμος Χωρος.
Εστω p κατανομη Πιθανοτητος στα Μετρησιμα Υποσυνολα (της ℬ[Y]).
Η p προκυπτει απο Στατιστικη Εκτιμηση ειτε απο Θεωρητικη Υποθεση
A(y)=∑Ν
𝜈=1 𝛼𝜈 1𝛯𝜈 (𝑦)
Πληροφορια της ΤΜ Α (ως προς την p) = Εντροπια της ΤΜ Α (ως προς την p)
ℐ= ℐ[Α] = − ∑nν=1 p(Ξν )ld𝑝[Ξν ] = − ∑nν=1 pν ldpν
Η Πληροφορια ειναι ιδιοτητα της κλασσης των ΤΜ A(y)=∑Ν
𝜈=1 𝛼𝜈 1𝛯𝜈 (𝑦)
που ειναι μετρησιμες ως προς τoν υποχωρο < 1𝛯1 , … , 1𝛯𝛮 >
μετρησιμες ως προς τη διαμεριση ξ = {Ξν}
Η Πληροφορια ειναι η αυτη για οιαδηποτε ΤΜ της μορφης A(y)=∑Ν
𝜈=1 𝛼𝜈 1𝛯𝜈 (𝑦)
𝑛
𝑛
ℐ[Α] = � 𝑝(𝛢 = 𝛼𝜈 )𝒾[𝑝(𝛢 = 𝛼𝜈 )] = � 𝑝𝜈 𝒾[𝑝𝜈 ]
ν=1
𝑛
ν=1
𝑛
ℐSHANNON [Α] = − � 𝑝(𝛢 = 𝛼𝜈 )ld[𝑝(𝛢 = 𝛼𝜈 )] = − � 𝑝𝜈 ld𝑝𝜈
ν=1
ν=1
Θ. ΙΔΙΟΤΗΤΕΣ ΤΗΣ ΠΛΗΡΟΦΟΡΙΑΣ Διαμερισης
1) 0 ≤ ℐ[ξ]≤ld n
H Πληροφορια ειναι θετικος αριθμος μικροτερος η ισος απο την τιμη ld Ν
2) ℐ(ξ)=ld n ⇔ pν=p[Ξν ] =1/n, ∀ ν=1,2,…,n
Δηλαδη η ισοπιθανη διαμεριση εχει την μεγιστη Πληροφορια απο τις διαμερισεις Ν κελλιων
Ισοδυναμα η ισοπιθανη ΣΜ εχει την μεγιστη Πληροφορια απο τις ΣΜ που παιρνουν Ν-τιμες
3) ℐ(ξ) ≤ ℐ(η) , εαν ξ < η
ξ<η⟺καθε κελλι Ηλ της η περιεχεται σε καποιο κελλι Ξκ της ξ
Δηλαδη:
Λεπτοτερες Διαμερισεις εχουν μεγαλυτερη Πληροφορια
TΜ που λαμβανουν περισσοτερες τιμες περιεχουν περισσοτερη Πληροφορια
διοτι η μετρηση τους παρεχει περισσοτερη Πληροφορια
Μετρησεις μεγαλυτερης ακριβειας παρεχουν περισσοτερη Πληροφορια
Αποδ 1) 2)
ℐ[ξ]−ldn= − ∑n𝜈=1 pν ldpν − ldn
=− ∑n𝜈=1 pν ldpν − �∑n𝜈=1 pν �ldn
=− ∑n𝜈=1 pν ld�pν n�
= − ∑n𝜈=1 pν ld
pν
qν
, qν=
1
n
-------------------------
ΛΗΜΜΑ: Ανισοτητα Gibbs:
-------------------------
∑nν=1 pν ld
pν
qν
∑N
𝜈=1 pν ld
pν
qν
≥0
= 0 ⟺ pν = q ν
Logarithmic Inequality
lnx ≤ x−1
lnx = x−1 ⟺ x=1
Gibbs Inequality
N
For any pn , qn ≥0, ∑N
𝑛=1 pn = 1 , ∑𝑛=1 q n = 1 :
1) ∑N
𝑛=1 pn ln
2) ∑N
𝑛=1 pn ln
1) ∑N
𝑛=1 pn ld
2) ∑N
𝑛=1 pn ld
lnx=ln2 ldx
pn
qn
pn
qn
pn
qn
pn
qn
N
≥ 0 ⟺ ∑N
𝑛=1 pn lnpn ≥ ∑𝑛=1 pn lnq n
= 0 ⟺ pn = qn
N
≥ 0 ⟺ ∑N
𝑛=1 pn ldpn ≥ ∑𝑛=1 pn ldq n
= 0 ⟺ pn = qn
, ln2=0.693147180559945
Proof 1
The Logarithmic Inequality is rewritten as:
−lnx≥1−x
−lnx = 1−x ⟺x=1
N
N
N
qn
qn
pn
� pn ln
= � pn �−ln � �� ≥ � pn �1 − � �� = 0
qn
pn
pn
𝑛=1
N
𝑛=1
N
𝑛=1
qn
qn
qn
� pn �−ln � �� = � pn �1 − � �� ⟺
=1
pn
pn
pn
𝑛=1
𝑛=1
Proof 2 From Jensen Inequality
Cover T.,Thomas J. 2006, Elements of Information Theory, Wiley, New York
{EΡΓ 0.1} + {0.1 Jensen Inequality}
2 Καλπες με Λευκους,Μαυρους, Κοκκινους βωλους [Y 51]
Η Καλπη Α περιεχει 10 λευκους, 5 μαυρους, 5 κοκκινους Βωλους (20)
Η Καλπη Β περιεχει 8 λευκους, 8 μαυρους, 4 κοκκινους Βωλους (20)
Επιλεγω (τυχαια) ενα Βωλο απο καθε Καλπη
Ποια Επιλογη ειναι πιο Αβεβαια?
Θα στοιχηματισω στην πιο βεβαια Επιλογη
Πιο Βεβαια η Επιλογη Μικροτερης Πληροφοριας
1
1
1
1
ℐΑ = −pλ,Ald (pλ,A) –pμ,A ld (pμ,A)− pκ,A ld (pκ,A) = − 𝑙𝑑 − 𝑙𝑑 −
1
pλ,A=
2
1
pμ,A=
4
2
1
pκ,A=
4
2
2
2
2
2
4
1
4
1
4
1
4
1
1
1
1
𝑙𝑑 = ∙ 1 + ∙ 2 + ∙ 2 = 1.5bits
4
2
1
4
4
ℐΒ= −pλ,Β ld(pλ,Β) –pμ,Β ld(pμ,Β)− pκ,Β ld(pκ,Β)= − 5 𝑙𝑑 5− 5 𝑙𝑑 5 − 5 𝑙𝑑 5 ≅ 5 ∙ 1,32 + 5 ∙ 2,32 ≅ 1.52bits
2
pλ,A=
5
ℐΑ < ℐΒ
2
pμ,A=
5
1
pκ,A=
5
EΡΓ Απαντηστε με Θεωρια Πιθανοτητων 0.3
Ο. Η Κοινη Πληροφορια των ΤΜ Α και Β
(Joint Information, Common Information)
Η Πληροφορια απο την μετρηση των ΤΜ Α,Β
ℐ[Α,Β] = Ε[𝒾(A,B)] = ∑𝛼,𝛽 𝜌(𝑎, 𝑏)𝒾(𝛼, 𝛽)
ℐSHANNON [Α,Β] = − ∑𝛼,𝛽 𝜌(𝑎, 𝑏)𝑙𝑑𝜌(𝛼, 𝛽)
Η Πληροφορια απο την μετρηση των ΤΜ Α1,Α2 ,..., ΑΝ
ℐ[Α1,Α2 ,..., ΑΝ]= Ε[𝒾(Α1,Α2 ,..., ΑΝ)] = ∑𝛼1,𝛼2,…,𝛼𝛮 𝜌(𝛼1 , 𝛼2 , … , 𝛼𝛮 )𝒾(𝛼1 , 𝛼2 , … , 𝛼𝛮 )]
ℐS[Α1,Α2 ,..., ΑΝ] = − ∑𝛼1,𝛼2,…,𝛼𝛮 𝜌(𝛼1 , 𝛼2 , … , 𝛼𝛮 )𝑙𝑑(𝛼1 , 𝛼2 , … , 𝛼𝛮 )]
Θ.
1)
2)
3)
ℐ[A ,B] = ℐ[Β ,Α]
ℐ[A ,B] ≤ ℐ[A] + ℐ[B]
ℐ[A1 , A2 ,..., Aν] ≤ ℐ[A1] + ℐ[A2] +...+ ℐ[Aν]
ℐ[A,B] = ℐ[A] + ℐ[B] ⟺ Α,Β ανεξαρτητες ΤΜ
Αποδ. 2) {0.2} , 3) {0.2}
ΠΟΡΙΣΜΑ
Απο τις 2),3) φαινεται οτι
η Εντροπια αλληλοεξαρτωμενων ΤΜ ειναι μικροτερη απο
το αθροισμα των επι μερους Εντροπιων τους ⟺
Οι αλληλοεξαρτηση μειωνει την Εντροπια
Δεσμευμενη Πληροφορια
Ο. Δεσμευμενη Πληροφορια του συνολου Ξ απο το συνολο Η
𝒾[Ξ|Η]
𝒾SHANNON [Ξ|Η] = −ldp(Ξ|Η)
O. Δεσμευμενη Πληροφορια της TΜ Α απο το συνολο H
ℐ[A|Η] = ∑n𝛼=1 𝑝[𝛢 = 𝛼|𝛨] 𝒾[𝐴 = 𝛼|𝛨]
ℐS [Α|Η] = − ∑nα=1 𝑝[𝛼|𝛨]𝑙𝑑 𝑝[𝛼|𝛨]
Ο. Δεσμευμενη Πληροφορια της TΜ Α απο την TΜ Β 𝓘[A|B]
(Conditional Information οf the RV A by the RV B, Equivocation=Aοριστια)
= The uncertainty about the RV A after observing another RV B
ℐ[Α|Β]= ∑𝛼,𝛽 𝜌(𝑎, 𝑏)𝒾(𝛼|𝛽)
ℐS [Α|Β]= − ∑𝛼,𝛽 𝜌(𝑎, 𝑏)𝑙𝑑𝜌(𝛼|𝛽)
ρ(α,β)= η κοινη πιθανοτητα των ΤΜ Α,Β
ρ(α|β)= η δεσμευμενη πιθανοτητα της ΤΜ Α απο την ΤΜ Β
Θ. ΙΔΙΟΤΗΤΕΣ ΔΕΣΜΕΥΜΕΝΗΣ ΠΛΗΡΟΦΟΡΙΑΣ
1) ℐ[A|B]≥0
ℐ[A|B]=0 ⇔ ξ =η
2) ℐ[Α|Β] ≠ ℐ[Β|Α]
𝓘[A|B]= 𝓘[Β|Α]+𝓘[A]−𝓘[Β]
ℐ[A|B]= ℐ[Β|Α] ⇔ ℐ[A]=ℐ[Β]
ΠΟΡ. Η ℐ[ξ|η] δεν οριζει αποσταση στην Αλγεβρα των ΤΜ
3) ℐ[A|B] ≤ ℐ[A] ,δηλ Evidence Decreases Uncertainty
ℐ[A|B] = ℐ[A] ⇔ Α , Β Ανεξαρτητες ΤΜ
4) Kανων Αλυσσου:
ℐ[A , B] = ℐ[A]+ ℐ[Β|Α] = ℐ[Β] +ℐ[A|Β]
H Κοινη Πληροφορια των ΤΜ Α,Β ειναι το αθροισμα
της Πληροφοριας της Α και της Δεσμευμενης Πληροφοριας της Β
δεδομενης της μετρησης της Α
ℐ[A1 , A2] = ℐ[A2|A1] +ℐ[A1]
ℐ[A1 , A2 , A3] = ℐ[A3|A2 , A1] +ℐ[A2 , A1]= ℐ[A3|A2 , A1] + ℐ[A2|A1] +ℐ[A1]
ℐ[A1 , A2 ,..., Am] = ℐ[Am|Am-1 , ... , A1] +∙∙∙+ℐ[A1]
5) ℐ[A1 , A2|B] ≤ ℐ[A1|B] +ℐ[A2|B]
ℐ[Α| Β1 , Β2] ≤ ℐ[Α|Β1] +ℐ[Α|Β2]
Αποδ
1) Aνισοτητα Gibbs
3) {0.3},
4) ℐSHANNON [ξ|η] = ℐSHANNON [ξ,η]− ℐSHANNON [η]
Κ
𝛮
𝑝[𝛯𝜈 ∩ 𝛨𝜅 ]
�
ℐ [ξ|η] = − � � 𝑝[𝛯𝜈 ∩ 𝛨𝜅 ]𝑙𝑑 �
𝑝[𝛨𝜅 ]
κ=1 ν=1
m ∑𝑛
𝛮
[
]
[
]
∑
∑
= − ∑Κ
𝑝
𝛯
𝑙𝑑𝑝
𝛯
∩
𝛨
∩
𝛨
−
(−
𝜈
𝜅
𝜈
𝜅
κ=1 ν=1
κ=1 ν=1 𝑝[𝛯𝜈 |𝛨𝜅 ] 𝑝[𝛨𝜅 ] 𝑙𝑑𝑝[𝛨𝜅 ])
𝑚
𝑚
= ℐ[ξ, η] − �− � 𝑝 �� 𝛯𝜈 �𝛨𝜅 � 𝑝[𝛨𝜅 ]𝑙𝑑𝑝[𝛨𝜅 ]�
κ=1
m
𝜈=1
= ℐ[ξ, η] − �− � p[Υ|Ηκ ]p[Ηκ ]ldp[Ηκ ]�
κ=1
m
= ℐ[ξ, η] − �− � p[Ηκ ]ldp[Ηκ ]�
κ=1
Γενικευεται εαν 𝓲[pq]= 𝓲[p] + 𝓲[q]
5) {0.3},
= ℐ[ξ , η] − ℐ[η]
ΚΑΛΠΕΣ
Eπιλεγω 2 βωλους απο Καλπη που περιεχει n βωλους, m μαυρους και n - m λευκους.
Α=η επιλογη του πρωτου βωλου
Β=η επιλογη του δευτερου βωλου
1) Ποια Επιλογη ειναι πιο Αβεβαια?
2) Πως αλλαζουν οι Αβεβαιοτητες καθε επιλογης αν εχει πραγματοποιηθει η αλλη επιλογη?
3) Υπολογιστε τις Δεσμευμενες Πληροφοριες ℐ(B|A) και ℐ(Α|Β)
[Υ 67]
𝑚
𝑛−𝑚
𝑚
𝑛−𝑚
Η Α εχει 2 ενδεχομενα (μ, λ) με πιθανοτητες pA(μ)= , pA(λ)=
n
Η B εχει 2 ενδεχομενα (μ, λ) με πιθανοτητες pB(μ)= , pB(λ)=
1) ℐ(Α)=ℐ(B)=−
𝑚
n
ld
𝑚
n
−
𝑛−𝑚
n
ld
𝑛−𝑚
n
n
n
n
. Οι Επιλογες εχουν την αυτη αβεβαιοτητα
2) Θα συγκρινουμε τις Δεσμευμενες Πληροφοριες ℐ(B|A) , ℐ(Α|Β)
ℐ[A|B]= ℐ[Β|Α] , επειδη ℐ[A|B]= ℐ[Β|Α]+ℐ[A]−ℐ[Β] και ℐ(Α)= ℐ(B)
Οι Αβεβαιοτητες καθε επιλογης δεν αλλαζουν αν εχει πραγματοποιηθει η αλλη επιλογη
3) Υπολογισμος της Δεσμευμενης Πληροφοριας ℐ(B|A)
ℐ(B|A) = pA(μ)ℐ(B|Α=μ)+ pA(λ)ℐ(B|Α=λ)
𝑚−1
ℐ(B|Α=μ) = ℐ(Β=μ| Α=μ) + ℐ(Β=λ|Α=μ)= −
n−1
𝑙𝑑
𝑚−1
n−1
ℐ(Β=μ| Α=μ)=−p(B=μ|Α=μ)ld p(B=μ|Α=μ)=−
𝑚−1
𝑙𝑑
𝑚−1
ℐ(Β=λ| Α=μ)=−p(B=λ|Α=μ)ld p(B=λ|Α=μ)=−
𝑛−𝑚
𝑙𝑑
𝑛−𝑚
p(B=μ|Α=μ)=
p(B=λ|Α=μ)=
n−1
𝑚−1
n−1
𝑛−𝑚
n−1
ℐ(B|Α=λ) = ℐ(Β=μ| Α=λ) + ℐ(Β=λ|Α=λ) = −
ℐ(Β=μ| Α=λ)=−p(B=μ|Α=λ)ld p(B=μ|Α=λ) = −
p(B=μ|Α=λ) = −
𝑚
n−1
𝑙𝑑
𝑚
n−1
n−1
𝑚
n−1
𝑚
n−1
−
𝑛−𝑚
n−1
𝑙𝑑
𝑛−𝑚
n−1
n−1
n−1
𝑙𝑑
𝑙𝑑
𝑚
n−1
𝑚
n−1
−
𝑛−𝑚−1
n−1
𝑙𝑑
𝑛−𝑚−1
n−1
𝑛−𝑚−1
ℐ(Β=λ| Α=λ)=−p(B=λ|Α=λ)ld p(B=λ|Α=λ)=−
p(B=λ|Α=λ)=
n−1
ℐ(B|A) = pA(μ)ℐ(B|Α=μ)+ pA(λ)ℐ(B|Α=λ)
=�−
n−1
𝑛−𝑚−1
m
n
ld
=Ι(Β) �−
m
n
−
m−1
n−1
ℐ(B|A) ≤ ℐ(Β) γενικα
n−m
ld
n
ld
m−1
n−1
n−m
−
n
� �−
n−m
n−1
ld
m−1
n−1
n−m
n−1
ld
𝑙𝑑
m−1
�+
n−1
n−m
n
𝑛−𝑚−1
n−1
−
n−m
n−1
�−
ld
n−m−1
n−1
n−m
n−1
ld
�+
n−m
n−m−1
n−1
�
n
�−
n−m−1
n−1
ld
n−m−1
n−1
�
Ο. Η Aμοιβαια Πληροφορια των TΜ Α και Β (διαμερισεων ξ και η)
(Μutual Information=Τransinformation=Transmitted Information)
Ειναι: ℐ[A] + ℐ[B] ≥ ℐ[A , B]
ℐ[A] + ℐ[B] = ℐ[A , B] ⟺ Α,Β ανεξαρτητες ΤΜ
Συνεπως: ℐ[A] + ℐ[B] − ℐ[A , B] η Πληροφορια της Αμοιβαιας Εξαρτησης των ΤΜ Α,Β
Ο
ℐ[A;B] = ℐ[A] + ℐ[B] - ℐ[A,B] = ℐ[A] - ℐ[A|B] = ℐ[Β] - ℐ[Β|Α]
Η Αμοιβαια Πληροφορια των ΤΜ Α,Β
Η ΑΠ ειναι ποσοτικη εκτιμηση της Αμοιβαιας εξαρτησης των ΤΜ Α,Β
Η ΑΠ μας λεει ποσο αποκλινει η προσεγγιση ανεξαρτητων ΤΜ
απο την κοινη Πληροφορια
Θ. ΑΜΟΙΒΑΙΑ ΠΛΗΡΟΦΟΡΙΑ Ιδιοτητες
1.
2.
3.
4.
ρ(α|β)
ℐ[Α;Β]= − ∑α,β ρ(a, b)ld ρ(α)ρ(β)
ℐ[A ;B] ≥ 0
ℐ[A ;B] = 0 ⇔ Α , Β Ανεξαρτητες ΤΜ
ℐ[A ;B] = ℐ[Β;Α] Συμμετρια
ℐ[A ;Α] = ℐ[A]
5. Η Αμοιβαια Πληροφορια δεν οριζει αποσταση στην Αλγεβρα των ΤΜ
D1. d(Α,Β)≧0 ισχυει
D2. d(Α,Β)=0 ⟺ Α=Β δεν ισχυει
D3. d(Α,Β)= d(B,Α) ισχυει
D4. d(Α,Β)≦ d(Α,H)+ d(H,Β), ∀ ΤΜ Η ?
Αποδ {ΕΡΓ 0.3}
Eφαρμογες Αμοιβαιας Πληροφοριας
Μελετη Εξαρτησεων, Αναλυση Συμβολικων Ακολουθιων (DΝΑ,Μουσικη)
Word Nearness Search Engines
Second Order Co-occurrence-Pointwise Mutual Information (SOC-PMI) Method
ΒΙΒΛΙΟΓΡΑΦΙΑ
Cover T.,Thomas J. 2006, Elements of Information Theory, Wiley, New York
Gray R. 1990, Entropy and Information Theory, Springer, New York.
Khinchin A. (1957) Mathematical Foundations of Information Theory, Dover, New York.
Kolmogorov A.N. 1933, Foundations of the Theory of Probability, 2nd English Edition, Chelsea, New York
1956.
Κολυβα-Μαχαιρα Φ. (1998) Μαθηματικη Στατιστικη 1 Εκτιμητικη, Εκδ. Ζητη, Θεσσαλονικη.
Li M.,Vitanyi P. (1993) An Introduction to Kolmogorov Complexity and its Applications, Springer.New York
MacKay D. (2003) Information Theory, Inference, and Learning Algorithms, Cambridge ,UK.
Renyi A. (1984) A Diary in Information Theory,Wiley, New York.
Reza F. 1961, An Introduction to Information Theory, McGraw-Hill, New York ; Dover Reprint (1994)
Shannon C. ,Weaver W. 1949, The Mathematical Theory of Communication, Univ. Illinois Press, Urbana.
ΠΛΗΡΟΦΟΡΙΑ Διαυλου
ΠΗΓΗ
Α=Ψ
�
Β=Ψ
ΔΙΑΥΛΟΣ
ΛΑΘΗ
ΘΟΡΥΒΟΣ
ΠΑΡΕΜΒΟΛΕΣ
Α=Ψ η TM Εισοδου στον Διαυλο
� η TM Εξοδου από τον Διαυλο
Β=Ψ
ΔΕΚΤΗΣ
Eστω ℐ[A] η Πληροφορια που εστειλε η Πηγη
και ℐ[B] η Πληροφορια που ελαβε ο Δεκτης (μεσω του Διαυλου Επικοινωνιας)
Τοτε:
ℐ[A,B] = η Πληροφορια του ολου Συστηματος Επικοινωνιας
ρ(α,β)= ρ(β) ρ(α|β)
= η πιθανοτης να εσταλη το μηνυμα α και να εληφθη το μηνυμα β
ℐ[A|B] = η Πληροφορια που εσταλη εαν ειναι γνωστο ότι εληφθη Πληροφορια ℐ[Β]
{δειχνει ποσο ευκολα ανακταται το Μηνυμα που εσταλη απο το Μηνυμα που εληφθη
λογω της επιδρασης του Διαυλου Επικοινωνιας}
ℐ[B|Α] = η Πληροφορια που εληφθη εαν ειναι γνωστο ότι η Πηγη εστειλε Πληροφορια ℐ[A]
{δειχνει την επιδραση του Διαυλου Επικοινωνιας}
ℐ[A ; B] = ℐ[A] −ℐ[A|Β]= ℐ[B] −ℐ[B|A]= ℐ[A] + ℐ[B] −ℐ[A,B]=R
Θ
= Transmission Rate οf the Channel [Shannon 1949, 20]
= η Πληροφορια που εισαγει ο Διαυλος Επικοινωνιας ως αμοιβαια εξαρτηση Πηγης - Δεκτη
ℐ[A ,B] = ℐ[A|B] + ℐ[Β|Α] + ℐ[A ;B]
[Reza F. 1961, An Introduction to Information Theory, McGraw-Hill, New York ; Dover Reprint (1994), σ.98]
Κβαντικη Πληροφορια
Μετρηση του Παρατηρησιμου Μεγεθους (ΠM) Α
Α Τελεστης στον Χωρο Hilbert ℋ,
Στην απλουστερη περιπτωση: ℋ=ℂΝ
𝜜 = ∑𝜨
𝒂=𝟏 𝛂ℙ𝒂 το Φασματικο Αναπτυγμα του τελεστη A
ℙα : ℋ ⟶ℋα = ο Τελεστης Προβολης στον α-ιδιοχωρο ℋα του ℋ
𝒑𝒂 =
� ,ℙ𝜶 𝛙
�>
<𝛙
� ∥𝟐
∥𝛙
= η Πιθανοτητα η ψ να ανηκει στον α-ιδιοχωρο ℋα του ℋ
Πληροφορια Shannon απο την Μετρηση του Α στην κατασταση ψ
ℐ(Α, ψ) =
n
− � ρα ldρα = −
α=1
n
< 𝛙, ℙ𝜶 𝛙 > < 𝛙, ℙ𝜶 𝛙 >
�
ld
∥ 𝛙 ∥𝟐
∥ 𝛙 ∥𝟐
α=1
Αν η διαθεσιμη πληροφορια για την κατασταση του Συστηματος
ειναι οι πιθανοτητες w1 , w2 ,..., wn το διανυσμα ψ
να κειται στους αξονες u1 , u2 ,..., un αντιστοιχα, n ≤ dim 𝒴
wα = |<ψ , uα>|2 = |<ψ |α >|2
Γνωριζουμε τις πιθανοτητες wα ,
αλλα
δεν γνωριζουμε τις συντεταγμενες (πλατη πιθανοτητος) <ψ , uα> = <ψ |α >
Τοτε η Πληροφορια Shannon απο την Μετρηση του Α ειναι:
ℐ(Α; ρ) =
− � 𝑡𝑟(𝜌ℙα )ld[𝑡𝑟(𝜌ℙα )]
α=1
ρ= ∑𝑛𝜈=1 𝑤𝜈 ℙ𝜈 o Τελεστης Πυκνοτητος του Μειγματος (wν , φν), ν=1,2,…,n
ℙi = <ui , > ui : ο Τελεστης Προβολης στην κατευθυνση του ui (1-dim ΔY του ℋ)
tr (ρ ℙα )= η πιθανοτητα η ψ να κειται στον Υποχωρο ℙα , δεδομενων των (ρ1 , ρ2 ,..., ρΝ )
∑𝑛𝛼=1 tr (ρ ℙ𝛼 ) = 𝑡𝑟 𝜌 ∑𝑛𝛼=1 ℙ𝛼 = tr ρ =1
Για αλλο ΠΜ Β ειναι:
ℐ(Β; ρ) = − � 𝑡𝑟�𝜌ℙβ �ld[𝑡𝑟�𝜌ℙβ �]
𝛽=1
H κοινη Πληροφορια των ΠΜ Α,Β,…, οριζεται αν και μονον αν τα Α,Β,… μετατιθενται:
[Α,Β]=0.
Πως να χαρακτηρισω την Πληροφορια του Κβαντικου Συστηματος για ολα τα ΠΜ?
Ως Πληροφορια του Κβαντικου Συστηματος προτεινεται
η μεγιστη Πληροφορια από ολες τις Παρατηρησεις:
Θ.
ℐ(ρ) = inf ℐ(Α; ρ)
𝐴∈𝒜
ℐ (ρ) = inf ℐ (Α; ρ) =
𝐴∈𝒜
−𝑡𝑟(𝜌ld𝜌)
ℐ(ρ) = − ∑nν=1 𝑤ν ldwν ,
αν οι πιθανοτητες w1 , w2 ,..., wn είναι ιδιοτιμες του Τελεστη Πυκνοτητος ρ
Η Πληροφορια Von Neuman- Shannon
Staszewski P. 1978, On The Characterization of the Von Neumann Entropy via the Entropies of Measurements,
Rep. Math. Physics 13, 67-71

Download Report