ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ και ΧΑΟΣ
1. ΕΙΣΑΓΩΓΗ
Ioannis E. Antoniou
Mathematics Department
Aristotle University
54124,Thessaloniki,Greece
iantonio@math.auth.gr
http://users.auth.gr/iantonio
ΠΡΟΓΡΑΜΜΑ
ΑΝΤΙΚΕΙΜΕΝΟ
ΕΚΠΑΙΔΕΥΤΙΚΟΙ ΣΤΟΧΟΙ
ΜΑΘΗΣΗ
ΑΣΚΗΣΕΙΣ-ΕΡΓΑΣΙΕΣ
ΠΡΟΥΠΟΘΕΣΕΙΣ
BΙΒΛΙΟΓΡΑΦΙΑ
2011-2 ΕΑΡΙΝΟ Εξαμηνο
ΣΤΑΤΙΣΤΙΚΗ ΑΝΑΛΥΣΗ ΠΛΗΡΟΦΟΡΙΑΣ
Διδασκων
Ωρες - Τοπος
Απαιτησεις
ΑΞΙΟΛΟΓΗΣΗ
Εξεταση
Αντωνιου Ι.
Τεταρτη
15:15 – 16:00 Αιθουσα Μ0
Παρασκευη 12:15 – 14:00 Αιθουσα Μ0
Βασικες Γνωσεις:
Αναλυση
Γραμμικη Αλγεβρα
Πιθανοτητες, Στατιστικη
Digital Literacy = Ψηφιακη Ευχερεια (Υπολογιστες, Διαδικτυο)
Αγγλικα
5-7 Βασικη Κατανοηση
8-9 Εμπεδωση
10 Εμβαθυνση-Εφαρμογες
Παρουσιαση Εργασιων και Συζητηση επι των Ασκησεων-Εργασιων
Οι Ασκησεις-Εργασιες
- διδονται/συζητωνται κατα το Μαθημα
- βαθμολογουνται αναλογα με την δυσκολια
- παραδιδονται/συζητωνται/αξιολογουνται εως την ημερα Εξετασης
- μπορουν να γραφονται στα Αγγλικα
η Παραδοσιακα (Γραπτη Εξεταση)
ΗΜΕΡΟΛΟΓΙΟ
Φεβρουαριος
2012
Μαρτιος
2011
Απριλιος
2011
Μαιος
2012
Ιουνιος
2012
22
29
7
9
14
16
21
23
28
30
4
6
25
27
2
4
9
11
16
18
23
25
30
7
Τεταρτη
Τεταρτη
Τεταρτη
Παρασκευη
Τεταρτη
Παρασκευη
Τεταρτη
Παρασκευη
Τεταρτη
Παρασκευη
Τεταρτη
Παρασκευη
Τεταρτη
Παρασκευη
Τεταρτη
Παρασκευη
Τεταρτη
Παρασκευη
Τεταρτη
Παρασκευη
Τεταρτη
Παρασκευη
Τεταρτη
Πεμπτη
Π1
Εισαγωγη
Π2
Μηνυματα Χρονοσειρες Τυχαιες Μεταβλητες
Π3
Η Λογικη των Μηνυματων (Αλγεβρα Boole) Χαρακτηριστικες Συναρτησεις
Π4,5
Παρατηρηση, Τυχαιες Μεταβλητες, Διαμερισεις
Π6
Εντροπια και Πληροφορια Shannon
Π7,8
Εντροπια Ιδιοτητες
Π9
Εντροπια Ιδιοτητες
Π10,11 Εντροπια και Αλληλοεξαρτηση
Π12
Εντροπια και Αλληλοεξαρτηση
Π13,14 Πληροφορια Κullback-Leibler και Ελεγχος Υποθεσεων
Π15
Πληροφορια Fisher και Εκτιμησεις
Π16,17 Εντροπια Γενικευσεις Εφαρμογες
Π18
Πηγες Πληροφοριας (Στοχαστικες Διαδικασιες, Δυναμικα Συστηματα)
Π19,20 Πηγες Πληροφοριας
Π21
Πηγες Πληροφοριας
Π22,23 Πηγες Πληροφοριας
Π24
Πηγες Πληροφοριας
Π25,26 Διαυλοι Επικοινωνιας (Μετασχηματισμοι Στοχαστικων Διαδικασιων)
Π27
Διαυλοι Επικοινωνιας
Π28,29 Κωδικοποιηση Δυαδικοι Κωδικες
Π30
Κωδικοποιηση Δυαδικοι Κωδικες
Π31,32 Δειγματοληψια Διακριτοποιηση, Ψηφιοποιηση Σηματων
Π33
Δικτυα Επικοινωνιας
08:15-11:00 ΕΞΕΤΑΣΕΙΣ
Η Στατιστικη Αναλυση Πληροφοριας διδαχτηκε επι 6 Ακαδημαικα Ετη από το 2005-6.
Κατα το Ακαδημαικο Ετος 2012-3 μετονομαζεται «ΘΕΩΡΙΑ ΠΛΗΡΟΦΟΡΙΑΣ και ΧΑΟΣ» με σχετικη
αναμορφωση του περιεχομενου, καθ’ υποδειξιν των Φοιτητων του Ακαδημαικου Ετους 2011-2.
Κατά την διδασκαλια επεσημαναν ότι αφου η Θεωρια Πληροφοριας εχει προστιθεμενη αξια μονο
στην περιπτωση Πηγων περιορισμενης προβλεψιμοτητας, δηλαδη Πηγων με Χαος, χρειαζεται
περισσοτερη εμβαθυνση στο Χαος. Για τις επισημανσεις αυτές ευχαριστω τους κ.κ. Γκόλτσιου Κ.,
Ιωαννίδου Δ., Καμάκα Ι., Κανελλοπούλου Α., Κανούλα Ε., Καρυώτη Κ.-Β., Μαραντίδη Π., Τσέρκη Σ.,
Πηγες Πληροφοριας είναι οι Παρατηρησιμες Φυσικες Διαδικασιες (Ριψη Ζαριων, Κινηση Brown,
Θερμικος Θορυβος Κυκλωματων, Καιρος, Ραδιενεργες Διασπασεις, Συγγραφεις, Καλλιτεχνες) και τα
σχετικα Μαθηματικα Μοντελα (Δυναμικα Συστηματα και Στοχαστικες Διαδικασιες).
Η προσομοίωση των Στοχαστικων Διαδικασιων γινεται με Γεννητριες Τυχαιων Αριθμων
Knuth D. 1997, The Art of Computer Programming, Volume 2: Seminumerical Algorithms, 3d Edition, Addison-Wesley
Reading, Massachusetts.
Οι Γεννητριες Τυχαιων Αριθμων είναι απλα Χαοτικα Δυναμικα Συστηματα.
Meyers R. (Ed.) 2009, Encyclopedia of Complexity and Systems Science, Springer, New York.
Skiadas Christos, Skiadas Charilaos 2009, Chaotic Modelling and Simulation. Analysis of Chaotic Models,
Attractors and Forms, CRC Press, London
Choe G. 2005, Computational Ergodic Theory, Springer, berlin
Katok A., Hasselblatt B. 1995, Introduction to the Modern Theory of Dynamical Systems, Cambridge University Press,
Cambridge, UK
Honerkamp J. 1994, Stοchastic Dynamical Systems: Concepts, Numerical Methods, Data Analysis, Wiley, New York
Devaney R. 1992, A First Course in Chaotic Dynamical Systems. Theory and Experiment,
Addison-Wesley, Reading, Massachusetts
Antoniou I. 1991, "Information and Dynamical Systems", p221-236 in "Information Dynamics",
ed. Atmanspacher H. , Scheingraber H., Plenum, New York
Αλλωστε o Kolmogorov επεσημανε οτι τα Χαοτικα Δυναμικα Συστηματα παραγουν χροσειρες
Τις οποιες δεν μπορουμε να διακρινουμε από χρονοσειρες που παραγονται από στοχαστικες
διαδικασιες. Το εγγενες κοινο γνωρισμα αυτων των Συστηματων είναι ο ρυθμος παραγωγης
Πληροφοριας.
Sinai Ya. 1989, Kolmogorov’s Work on Ergodic Theory, Annals of Probability 17, 833-839
Arnold V. 2008, Orbits’ Statistics in Chaotic Dynamical Systems, Nonlinearity 21 (2008) T109–T112,
doi:10.1088/0951-7715/21/7/T02
Εξ αλλου οι πλειστες Στοχαστικες Διαδικασιες προκυπτουν ως προβολη Χαοτικων Δυναμικων
Συστηματων.
Antoniou I., Christidis Th., Gustafson K. 2004, “Probability from Chaos”, Int. J. Quantum Chemistry 98,150-159
Antoniou I., Gustafson K. and Shkarin S.A. 2004, “Positive Dilations of piecewise monotonic Markov maps”, Inf. Dim. Anal.
Quantum Probability 7, 261-269
Αυτη είναι μια απαντηση στο Αντιστροφο προβλημα της Στατιστικης Μηχανικης:
Ποια Δυναμικα Συστηματα μπορουν να μοντελοποιησει μια δεδομενη Στοχαστικη Διαδικασια? Η
μοντελοποιηση Φυσικων Διαδικασιων με Δυναμικα Συστηματα και Στοχαστικες Διαδικασιες
αποτελει αντικειμενο της Στατιστικης Φυσικης
Honerkamp J. 1998, Statistical Physics. An Advanced Approach with Applications, Springer, Berlin.
Farquhar I. 1964, Ergodic Theory in Statistical Mechanics Wiley, New York
Jancel R. 1963, Foundations of Classical and Quantum Statistical Mechanics, Gauthier-Villars, Paris;
Pergamon Press, Oxford, U.K. 1969
ΑΝΤΙΚΕΙΜΕΝΟ
Τι ειναι Πληροφορια?
Πληροφορια είναι ο Πορος (Resource) που μεταδιδεται (transmitted)
κατά την Επικοινωνια με την μορφη Μηνυματων
Επικοινωνια είναι η ανταλλαγη Μηνυματων
Υπαρχω ⟺ Επικοινωνω
Information Theory
H Θεωρια Πληροφοριας ειναι το Μαθηματικο Μοντελο της Επικοινωνιας
Συστημα Επικοινωνιας
Shannon Communication Model
Η μεταδοση τής πληροφορίας απαιτεί:
Τον Διαυλο Επικοινωνιας ενα φυσικό συστημα-φορεα πού συνδέει στό χώρο καί στo χρόνο
την Πηγη της Πληροφοριας με τον Αποδεκτη της Πληροφοριας.
SOURCE
ΠΗΓΗ
TRANSMITTER
ΠΟΜΠΟΣ
CHANNEL
ΔΙΑΥΛΟΣ
RECEIVER
ΔΕΚΤΗΣ
MESSAGE
ΜΗΝΥΜΑ
DESTINATION
ΠΡΟΟΡΙΣΜΟΣ
MESSAGE
ΜΗΝΥΜΑ
ΘΟΡΥΒΟΣ
ΠΑΡΕΜΒΟΛΕΣ
Εξουσιοδοτημενες
Μη Εξουσιοδοτημενες
(Spies, Hackers)
SOURCE
Nature
Show
Αuthor
Orchestra
Painter
Genotype
People
Producers
TRANSMITTER CHANNEL
RECEIVER
Observable
Experimental Voltmeter
Events
Devise
Thermometer
Tηλεσκοπιο
TV Station
EM Field
TV-Receiver
Editor
Distribution Eyes, Brain
Network
Amplifier
Concert Hall Ears,Eyes,
Brain
Painting
Exhibition
Eyes, Brain
Hall
DNA
Biomolecular Phenotype
Web
PC
Internet
PC
WWW
Sellers
MARKET
Buyers
MESSAGE
Changes of Variables
DESTINATION
Scientist
Images,Sounds
Text
Τηλεθεατης
People
Image
People
Musical Piece
Bio-Information
People
Organism
Email,Text,Image,Video People
Product
Consumers
Shannon introduced the qualitative and quantitative statistical model of communication
“Τhe fundamental problem of communication is that of
reproducing at one point, (DESTINATION)
either exactly or approximately,
a Message selected at another point (SOURCE)
Shannon C. ,Weaver W. 1949, The Mathematical Theory of Communication,
Univ. Illinois Press, Urbana
Frequently the messages have meaning; that is they refer to or are correlated according to
some system with certain physical or conceptual entities.
These semantic aspects of communication are irrelevant to the engineering problem.
The significant aspect is that
the actual message is one selected from a set of possible messages.
The system must be designed to operate for each possible selection,
not just the one which will actually be chosen since this is unknown at the time of design.”
Shannon Information Theory is Syntactic Information Theory
The Meaning of Symbols is not considered
Πληροφορια
Προελευση
Εφαρμογες
Εντροπια Θερμοδυναμικη
Στατιστικη Μηχανικη Boltzmann, Gibbs
Στατιστικη Φυσικη
Βιοιατρικη
Μηχανες Αναζητησης
Γλωσσολογια
Xρηματοοικονομικα, Risk
Διαυλοι Επικοινωνιας
Υπολογιστες, Ορια Υπολογισιμοτητας
Εκτιμησεις Πολυπλοκοτητας
Προσεγγισεις
Xρηματοοικονομικα, Risk
Αποφασεις, Παιγνια
Eπικοινωνια Shannon
Πολυπλοκοτητα Επεξεργαστων Kolmogorov
Tυχερα Παιγνια
Στατιστικες Εκτιμησεις Fisher
Ελεγχος Υποθεσεων Kullback-Leibler
Δικτυα
Internet, WWW
Koινωνιολογια, Πολεμος, Απατη
The 5 Basic theorems of Information Theory
The 5 Basic theorems of Information Theory
1. Sampling Theorem
How to Transform Continuous (Functions) Messages to Discrete (Functions) Messages
2. Source Coding Theorem= Data Compression Theorem=
= Shannon-McMillan-Breiman Theorem = Ergodic Theorem =
= Asymptotic Equipartion Theorem
Find shortest sequences to code messages
3. Channel Coding Theorem
Reliable Information Transmission over Unreliable (Noisy) Channels
Error Correction Codes
4. Rate Distortion Theorem
Min Distortion
5. Cryptography Theorem
Min Information Rate for Max (Unconditional) Security
Information Theory Content
Information Observation Statistics Probability
Sources of Information
Physical (Time series from Observations)
Mathematical Models Dynamical Systems (Differential Eqs, Difference Eqs)
Stochastic Processes
Games
Channels
Coding = Deterministic Channels
For Economic Transmission Conventional Communication Engineering
Error Correction Conventional Communication Engineering
Cryptography Trust
Robustness-Adaptability Life
Information Processing involving Many Channels (Network Information Theory)
Information and Communication Technology is Application of Information Theory
PC, CD-ROM, DVD, GSM, GPS, WWW
Negroponte N. 1995, Being Digital, Hodder London.
Ελλην. Μεταφρ. Eκδ. Καστανιώτης, Αθηνα, 2000
Dertouzos M. 1997, What Will Be? How the World of Information Will Change Our Lives, Harper
Collins, New York. Ελλην. Μεταφρ. Eκδ. Γκοβοστη 1998.
Dertouzos M. 2001, The Unfinished Revolution : How to Make Technology Work for Us--Instead
of the Other Way Around, Harper Collins, New York.
Ελλην. Μεταφρ. Eκδ. Λιβανη, Αθηνα, 2001 ]
Berners-Lee T, Fischetti M. 1997, Weaving The Web , Harper Collins, New York.
Ελλην. Μεταφρ. Eκδ. Γκοβοστη , Αθηνα, 2002.
Berners-Lee T, Hall W., ea 2006, A Framework for Web Science, Found. Trends in Web
Science 1, 1-130. Ελλην. Μεταφρ. Βαφοπουλος, Hyperconsult 2007
Shadbolt N., Hall W., Berners-Lee T. 2006, The Semantic Web Revisted
Knowledge Processing 21st Century
Meta-Data
Feature Selection
Meaning (Νοημα),
Significance (Σημασια)
Semantic Processing (Σημασιoλογικη Επεξεργασια)
Ontologies (Οντολογιες)
Semantic Web
Mind, Consciousness, Self
ΕΚΠΑΙΔΕΥΤΙΚΟΙ ΣΤΟΧΟΙ
H Aποστηθηση Γυζης
Το Κρυφο Σχολειο
Κου-Κου
Η Αρμονια
Μαθηση
Αντιληψη
Εμπειρια
Ιστορια
Διαισθηση
Κατανοηση Λογικες Σχεσεις-Δομη
Αφαιρεση-Εμβαθυνση
Αποδειξεις
Those who lack a sense of the Past are
condemned to live in the narrow darkness
of their own generation [Old Armenian Proverb]
Φιλοσοφια, Τεχνη
«Καθαρα» Μαθηματικα
Εμπεδωση
Λυση Προβληματων
Εφαρμογες
Νυξεις
για οσους ενδιαφερονται να προχωρησουν παραπερα
«Εφαρμοσμενα» Μαθηματικα
ΑΣΚΗΣΕΙΣ-ΕΡΓΑΣΙΕΣ
ΕΠΩΝΥΜΟ
ΟΝΟΜΑ
ΑΡΙΘΜΟΣ ΜΗΤΡΩΟΥ
Ημερομηνια
----------------------------------------------------------------------------ΕΡΓΑΣΙΑ στο Μαθημα ΣΤΑΤΙΣΤΙΚΗ ΑΝΑΛΥΣΗ ΠΛΗΡΟΦΟΡΙΑΣ 2008-9
ΘΕΜΑ: Το Θεωρημα Liouville
----------------------------------------------------------------------------ΠΕΡΙΛΗΨΗ: 4-8 γραμμες
ΠΕΡΙΕΧΟΜΕΝΑ: εάν κρινεται χρησιμο (μεγαλες Εργασιες)
ΕΙΣΑΓΩΓΗ
εάν κρινεται χρησιμο (μεγαλες Εργασιες)
ΟΡΟΙ-ΕΝΝΟΙΕΣ: οριζονται με σαφηνεια και ακριβεια ειτε
με παραπομπη στην βιβλιογραφια
ΠΡΟΤΑΣΕΙΣ,ΘΕΩΡΗΜΑΤΑ: διατυπωνονται με σαφηνεια και ακριβεια ειτε
με παραπομπη στην βιβλιογραφια
ΑΠΟΔΕΙΞΕΙΣ:
πληρεις , ότι αναφερεται τεκμηριωνεται λεπτομερως
αποφευγουμε εκφρασεις "ευκολα φαινεται ότι…" .
Η τεκμηριωση μπορει να γινεται με συντομη επεξηγηση και αναφορα στην
βιβλιογραφια , πχ.
Για την κατασκευη των ιδιοσυναρτησεων παραπεμπουμε στην εργασια
Antoniou et al (2000), Θ. 12.1, σ. 37.
Στα πλαισια της εργασιας χρησιμοποιουμε την αποδειξη του Arnold (1978),
Θ. 12.1, σ. 37.
ΣΥΜΠΕΡΑΣΜΑΤΑ, ΠΡΟΟΠΤΙΚΕΣ: εάν κρινεται χρησιμο
ANAΦΟΡΕΣ- ΒΙΒΛΙΟΓΡΑΦΙΑ:
Ακολουθωντας την σειρα εμφανισης στο κειμενο
[1] Arnold V.I., Ordinary Differential Equations, MIT Press, Cambridge, MA (1978).
[2] Yosida K., Lectures on Differential and Integral Equations, Interscience, New York (1960); reprint Dover, New York
(1991).
[3] Antoniou I.,Shkarin S., Analyticity of Smooth Eigenfunctions and Spectral Analysis of the Gauss Map,
J. Stat. Phys. 111, 355-369 (2003).
[4] Antoniou I., Shkarin S., Spectral Analysis of Operators of Chaos, Proc. 9th Math. Αnalysis Conference, Crete (2003).
[5] http…Chaos… / …Prigogine, Laws of Chaos (2006-12-13)
Αλφαβητικα
Arnold V.I. 1978, Ordinary Differential Equations, MIT Press, Cambridge, MA
Antoniou I.,Shkarin S. 2003a, Analyticity of Smooth Eigenfunctions and Spectral Analysis of the Gauss Map,
J. Stat. Phys. 111, 355-369
Antoniou I., Shkarin S. 2003b, Spectral Analysis of Operators of Chaos, Proc. 9th Math. Αnalysis Conference, Crete.
Prigogine 2006-12-13, Laws of Chaos, http…Chaos… /…
Yosida K. 1960, Lectures on Differential Equations, Interscience, New York; reprint Dover, New York
Εαν η Εργασια δεν εχει δημοσιευτει, τοτε Προστιθεται κατα περιπτωση
[submitted]
[accepted]
[in press]
Παραδοση Εργασιας
Καθε Φοιτητης,-ρια εχει τον Φακελλο του οπου ευρισκονται οι Εργασιες του
Στον Φακελο Εργασιας μπορειτε να εχετε εφ οσον χρειαζονται
Εργασιες Αλλων, Προγραμματα που γραψατε η Βρηκατε
Προσοχη!
1) Το κειμενο Καθε Εργασιας πρεπει να ειναι δομημενο.
Οχι Moνο Copy→Paste με αλλαγη συμβολων
2) Δεν γραφονται λεξεις η προτασεις που δεν ειναι κατανοητες.
3) Αξιολογειται η Κατανοηση του θεματος.
Εαν Διαπιστωθει οτι
ο συντακτης δεν διαφερει απο Ψηφιακο Επεξεργαστη,
ο βαθμος της Εργασιας ειναι Μηδεν
4) Μπορειτε να ρωτατε πριν παραδωσετε ειτε
να δηλωνετε οτι δεν εχετε κατανοησει
ΠΡΟΥΠΟΘΕΣΕΙΣ
Βασικες Γνωσεις:
Αναλυση
Γραμμικη Αλγεβρα
Πιθανοτητες, Στατιστικη
Digital Literacy = Ψηφιακη Ευχερεια (Υπολογιστες, Διαδικτυο)
Αγγλικα
Επαγγελματισμος
{οχι Ερασιτεχνισμοι, Kενολογιες}
Eφεση, Αγαπη
{η ζωη δεν ειναι βαρετη αγγαρεια}
Knowing Ignorance is Strength.
Ignoring Knowledge is Sickness [Lao Tsu 600BC , Tao Te Ching]
BΙΒΛΙΟΓΡΑΦΙΑ
Probability, Statistics
Billingsley P. 1985, Probability and Measure, Wiley, New York
Caratheodory C. 1919, Uber den Wiederkehrsatz von Poincare, Sitz. Preuss. Akad. Wiss. Phys. Math. 580-584.
Caratheodory C. 1956, Algebraic Theory of Measure and Integration, 2nd ed., Chelsea, New York 1986
Cox R. 1961, The Algebra of Probable Inference, John Hopkins Press, Baltimore.
Doob J.L. 1953 Stochastic Processes, Wiley, New York.
Doob J.L. 1994 Measure Theory, Springer-Verlag New York.
Epstein R. 1977, The Theory of Gambling and Statistical Logic, Academic Press, London
Feller W. 1968, An Introduction to Probability Theory and Its Applications I, Wiley, New York
Feller W. 1971, An Introduction to Probability Theory and Its Applications II, Wiley, New York
Ferguson T. 1997, Mathematical Statistics: a Decision Theoretic Approach, Academic Press
Gardiner C. 1983, Handbook of Stochastic Methods for Physics, Chemistry and the Natural Sciences, Springer, Berlin
Gheorghe A. 1990, Decision Processes in Dynamic Probabilistic Systems, Kluwer, Dodrecht
Gray R. 1988, Probability, Random Processes and Ergodic Properties, Springer, New York.
Honerkamp J. 1994, Stοchastic Dynamical Systems: Concepts, Numerical Methods, Data Analysis, Wiley, New York
Kallenberg O. 2001, Foundations of Modern Probability, 2nd ed., Springer, Berlin
Kolmogorov A.N. 1933, Foundations of the Theory of Probability, 2nd English Edition, Chelsea, New York 1956.
Kolmogorov A.N. and Fomin S.V. 1970, Introductory Real Analysis, Dover, New York 1975.
Whittle W. 2000, Probability via Expectation, 4th ed., Springer, Berlin
Van Kampen N. 1981, Stochastic Processes in Physics and Chemistry, North-Holland, Amsterdam
Information, Entropy
Applebaum D. 2008, Probability and Information. An Integrated Approach 2nd ed, Cambrigre Univ. Press, Cambridge, UK.
Ash, R. 1965, Information Theory, Wiley; Dover, New York 1990.
Berstel J., Perrin D. , Reutenauer C. 2009, Codes and Automata, Cambridge University Press.
Billingsley P. 1965, Ergodic Theory and Information, Wiley, New York
Blum L., Cucker F., Shub M., Smale S. (1998) Complexity and Real Computation, Springer, New York.
Brillouin L. 1956, Science and Information Theory, Academic Press, New York.
Cover T.,Thomas J. 2006, Elements of Information Theory, Wiley, New York
Cucker F. , Smale S. 2001, On the Mathematical Foundations of Learning, Bull. Am. Math. Soc. 39, 1-49
Frieden R. 2004, Science from Fisher Information: A Unification, Cambridge University Press, Cambridge.
Girardin V. 2005, On the Different Extensions of the Ergodic Theorem of Information Theory,
in “Recent Advances in Applied Probability”, ed. Baeza-Yates R., Glaz J.,ea, Springer, Boston, 163-179.
Golomb S., Berlekamp E., Cover T. , Gallager R., Massey J. , Viterbi A. 2002, Claude Elwood Shannon (1916–2001),
AMS Notices 49, 8-16
Gray R. 1990, Entropy and Information Theory, Springer, New York.
Han, Te Sun 2003, Information-Spectrum Methods in Information Theory, Springer, New York.
Jelinek F. 1968, Probabilistic Information Theory, MacGraw-Hill, New York.
Kakihara Y. 1999, Abstract Methods in Information Theory, World Scientific, Singapore
Khinchin A. 1957, Mathematical Foundations of Information Theory, Dover, New York.
Kotelnikov V. A. 1933 , On the carrying capacity of the ether and wire in telecommunications,
First All-Union Conference on Questions of Communication, Izd. Red. Upr. Svyazi RKKA, Moscow
Kullback S. 1968, Information Theory and Statistics, Dover, New York.
Levin B. 1982, Statistical Communication Theory and its Applications, Mir, Moscow.
Li M.,Vitanyi P. 1993, An Introduction to Kolmogorov Complexity and its Applications, Springer. New York
MacKay D. 2003, Information Theory, Inference, and Learning Algorithms, Cambridge ,UK.
Nyquist H.1928 , Certain topics in telegraph transmission theory, Trans. AIEE 47, 617-644.
Reprint as classic paper in: Proc. IEEE, Vol. 90, No. 2, Feb 2002
Pinsker M. 1964, Information and Stability of Random Variables and Processes, Holden-Day, San Francisco.
Rényi A. 1961, On Measures of Entropy and Information, Proc. 4th Berkeley Symposium on
Mathematics, Statistics and Probability, University of California Press, p 547-561
Renyi A. 1984, A Diary in Information Theory,Wiley, New York.
Reza F. 1961, An Introduction to Information Theory, McGraw-Hill, New York ; Dover Reprint (1994)
Rohlin V. 1967, Lectures on the Entropy Theory of Measure Preserving Transformations, Russ. Math. Surv. 22, No 5,1-52
Shannon C. ,Weaver W. 1949, The Mathematical Theory of Communication, Univ. Illinois Press, Urbana.
Shannon C. 1949, Communication in the presence of noise, Proc. Institute of Radio Engineers 37, 10-21. Reprint as classic
paper in: Proc. IEEE, Vol. 86, No. 2, (Feb 1998)
Urbanik K. 1973, On the Definition of Information, Rep. Math. Phys. 4, 289-301
Yanglom A. ,Yanglom I. 1983, Probability and Information, Reidel, Dordrecht.
Yockey R. 2005, Information Theory, Evolution and the Origin of Life, Cambridge Univ. Press, New York
Yeung R. 2002, A First Course in Information Theory. Norwell, MA/New York: Kluwer/Plenum
Dynamical Systems, Chaos, Stochasticity
Antoniou I., Christidis Th., Gustafson K. 2004, “Probability from Chaos”, Int. J. Quantum Chemistry 98,150-159
Antoniou I., Gustafson K. and Shkarin S.A. 2004, “Positive Dilations of piecewise monotonic Markov maps”, Inf. Dim. Anal.
Quantum Probability 7, 261-269
Antoniou I. 1991, "Information and Dynamical Systems", p221-236 in "Information Dynamics",
ed. Atmanspacher H. , Scheingraber H., Plenum, New York
Arnold V. 2008, Orbits’ Statistics in Chaotic Dynamical Systems, Nonlinearity 21,T109–T112,
doi:10.1088/0951-7715/21/7/T02
Choe G. 2005, Computational Ergodic Theory, Springer, Berlin
Devaney R. 1992, A First Course in Chaotic Dynamical Systems. Theory and Experiment,
Addison-Wesley, Reading, Massachusetts
Farquhar I. 1964, Ergodic Theory in Statistical Mechanics Wiley, New York
Honerkamp J. 1998, Statistical Physics. An Advanced Approach with Applications, Springer, Berlin.
Honerkamp J. 1994, Stοchastic Dynamical Systems: Concepts, Numerical Methods, Data Analysis, Wiley, New York
Katok A., Hasselblatt B. 1995, Introduction to the Modern Theory of Dynamical Systems, Cambridge University Press,
Cambridge, UK
Jancel R. 1963, Foundations of Classical and Quantum Statistical Mechanics, Gauthier-Villars, Paris;
Pergamon Press, Oxford, U.K. 1969
Knuth D. 1997, The Art of Computer Programming, Volume 2: Seminumerical Algorithms, 3d Edition, Addison-Wesley
Reading, Massachusetts.
Meyers R. (Ed.) 2009, Encyclopedia of Complexity and Systems Science, Springer, New York.
Skiadas Christos, Skiadas Charilaos 2009, Chaotic Modelling and Simulation. Analysis of Chaotic Models,
Attractors and Forms, CRC Press, London
Sinai Ya. 1989, Kolmogorov’s Work on Ergodic Theory, Annals of Probability 17, 833-839
Δικτυα
Antoniou I. , Tsompa E. 2008, Statistical Analysis of Weighted Networks, Discrete Dynamics in Nature and Society 375452,
doi:10.1155/2008/375452.
Barabasi A.-L. 2002, Linked: The new Science of Networks, Perseus, Cambridge Massachussetts.
Bondy J. and Murty U. 2008, Graph Theory, Springer.
Bollobas B. , 1985, Random Graphs, Academic Press, London.
Dehmer M. 2008, Information-Theoretic Concepts for the Analysis of Complex Networks, Applied Artificial Intelligence 22,
684–706
Dehmer Μ., Mowshowitz A. 2011, A history of graph Εntropy measures, Information Sciences 181, 57-78
De Nooy W., Mrvar A., Batagelj V., 2007, Explanatory Social Network Analysis with Pajek, Cambridge University Press, NY.
Dorogovtsev S., Mendes G. , 2003, Evolution of Networks, Oxford Univ. Press, UK.
Easley D. and Kleinberg J., 2010, Networks, Crowds, and Markets: Reasoning about a Highly Connected World,
Cambridge University Press.
Baldi P., Frasconi P. and Smyth P., 2003, Modeling the Internet and the Web, Wiley, West Sussex.
Boccaletti S., Latora V., Moreno Y., Chavez M., Hwang D.-U., 2006, Complex networks: Structure and dynamics,
Physics Reports, 424, 175 – 308.
Brandes U., Erlebach T. 2005, Network Analysis, Springer-Verlag Berlin Heidelberg.
Li J. ,ea 2008, Network Entropy Based on Topology Configuration and Its Computation to Random Networks,
Chin. Phys. Letters 25, 4177-4180
Rosen K. et al., 2000, Handbook of Discrete and Combinatorial Mathematics, CRC Press, USA.
Sole R. and Valverde S. 2004, Information Theory of Complex Networks: on Evolution and Architectural Constraints,
Lect. Notes Phys. 650, 189-204
Tutzauer F. 2007, Entropy as a measure of centrality in networks characterized by path-transfer flow,
Social Networks 29, 249–265
© Copyright 2024 Paperzz
