Θεωρία της Πληροφορίας

Γίνεται εισαγωγή στην έννοια της πληροφορίας και προσδιορίζεται το μέτρο και οι μονάδες της. Επίσης, περιγράφονται οι ιδιότητες που έχει το μέτρο της πληροφορίας ενός γεγονότος. Περιγράφεται η έννοια της αβεβαιότητας. Γίνεται σύνδεση της αβεβαιότητας πραγματοποίησης ενός γεγονότος με την έννοια της εντροπίας και προσδιορίζεται το μέτρο και οι μονάδες της. Δίνονται παραδείγματα και ασκήσεις.

Δίνονται βασική ορισμοί που περιγράφουν την πηγή πληροφορίας και προσδιορίζεται η εντροπία πηγής πληροφορίας, η απόσταση Kulback-Leibler (Σχετική Εντροπία), η δυαδική πηγή πληροφορίας , η συνδετική εντροπία σύνθετης πηγής και η υπό συνθήκη εντροπία σύνθετης πηγής. Δίνεται η ερμηνεία της διαπληροφορίας  και πώς αυτή συνδέεται με την πληροφορία που μεταφέρεται σε έναν επικοινωνιακό δίαυλο. Κατόπιν δίνεται ο ορισμός της , οι μονάδες της και οι ιδιότητες της. Δίνονται παραδείγματα και ασκήσεις.

Δίνεται η σχηματική αναπαράσταση του διαύλου πληροφορίας και ορίζεται η μαθηματική του περιγραφή (πίνακας διαύλου) και ο παραστατικός τρόπος περιγραφής του (διάγραμμα διαύλου). Δίνεται η ερμηνεία του πίνακα συνδετικών πιθανοτήτων ενός διαύλου επικοινωνίας και προσδιορίζεται η εντροπία διαύλου και η εντροπία θορύβου. Δίνεται ο ορισμός της χωρητικότητας του διαύλου πληροφορίας και πώς αυτή προκύπτει από την έννοια της διαπληροφορίας. Περιγράφονται μερικοί χαρακτηριστικοί δίαυλοι πληροφορίας: ιδανικός, καθοριστικός, δίαυλος χωρίς απώλειες, ομοιόμορφος, δυαδικός συμμετρικός και Σ-δίαυλος. Για τον κάθε έναν προσδιορίζεται η χωρητικότητα του. Περιγράφεται η έννοια της αλυσίδας διαύλων και προσδιορίζεται ο πίνακας αλυσίδας διαύλων. Περιγράφεται η τεχνική Muroga για την εύρεση της χωρητικότητας ενός διαύλου πληροφορίας. Προσδιορίζονται οι προϋποθέσεις για την εφαρμογή της.  Δίνονται παραδείγματα και ασκήσεις.

Δίνονται ορισμοί για την κωδικοποίηση της πηγής πληροφορίας και παραδείγματα  γνωστών κωδίκων. Ταξινομούνται οι κώδικες και περιγράφεται η αθόρυβη κωδικοποίηση η οποία έχει στόχο την συμπίεση δεδομένων. Αναλύονται σχεδιαστικά ζητήματα κωδίκων και δίνονται οι ορισμοί της ευκρίνιας, μονοσημαντικότητας και στιγμιαίας αποκωδικοποίησης. Περιγράφεται το δενδροδιάγραμμα απόφασης για την αποκωδικοποίηση ενός κωδικού μηνύματος. Ορίζεται το μέσο μήκος κώδικα και ο βέλτιστος κώδικας. Περιγράφονται οι ταυτοανισότητες Kraft και McMillan και δίνεται η ερμηνεία τους. Περιγράφεται η τεχνική της κωδικοποίησης κατά Huffman για την συμπίεση δεδομένων χωρίς απώλειες με παραδείγματα. Προσδιορίζεται η κωδικοποίηση κατά Huffman η οποία οδηγεί σε κώδικα με την ελάχιστη μεταβλητότητα. Δίνονται παραδείγματα και ασκήσεις.

Στόχοι της συμπίεσης δεδομένων:

• Μείωση του απαιτούμενου χώρου αποθήκευσης των δεδομένων.
• Περιορισμός της απαιτούμενης χωρητικότητας διαύλου επικοινωνίας για την μετάδοση.
• μείωση του χρόνου αποστολής