Θεωρία της Πληροφορίας

• Μέτρο της πληροφορίας. Μέση πληροφορία – Εντροπία.
• Πηγή πληροφορίας. Σύνθετη πηγή πληροφορίας.
• Συνδετική και υπό συνθήκη εντροπία. Διαπληροφορία.
• Δίαυλος πληροφορίας και χωρητικότητα διαύλου.
• Εντροπία θορύβου. Εντροπία διαύλου.
• Χαρακτηριστικοί δίαυλοι πληροφορίας και υπολογισμός της χωρητικότητας τους.
• Υπολογισμός χωρητικότητας διαύλου με την τεχνική Muroga.
• Κωδικοποίηση πηγής πληροφορίας και βασικές κατηγορίες κωδίκων.
• Αθόρυβη κωδικοποίηση.
• Οι ταυτοανισότητες του Kraft και McMillan
• Μέσο μήκος κώδικα. Βέλτιστος κώδικας.
• Κωδικοποίηση Huffman.
• Αριθμητική Κωδικοποίηση.

Το μάθημα αποσκοπεί στο να παρέχει στον φοιτητή/τρια τις βασικές γνώσεις  της Θεωρίας Πληροφοριών και Κωδίκων. Βασικός στόχος είναι η κατανόηση της σχέσης μεταξύ της ποσότητας της πληροφορίας ενός γεγονότος και της πιθανότητας πραγματοποίησης του. Έμφαση δίνεται στην σύνδεση της βασικής αυτής αρχής με την επιστήμη της Πληροφορικής και των Τηλεπικοινωνιών. Οι γνώσεις αυτές θεωρούνται απαραίτητες για τη μελέτη και ανάλυση τηλεπικοινωνιακών συστημάτων καθώς και για την κατανόηση τεχνικών κωδικοποίησης δεδομένων που στοχεύουν στην συμπίεση τους.

Μετά την παρακολούθηση του μαθήματος οι φοιτητές θα πρέπει να μπορούν:

• Να εκτιμούν την πληροφορία που περιέχει ένα γεγονός.
• Να υπολογίζουν την εντροπία μίας πηγής πληροφορίας.
• Να υπολογίζουν τη χωρητικότητα χαρακτηριστικών διαύλων πληροφορίας.
• Να εφαρμόζουν γνωστές τεχνικές κωδικοποίησης.
• Να κατανοούν τους περιορισμούς τους οποίους υπόκειται κάθε τεχνική κωδικοποίησης δεδομένων.

Να επιλέγουν την βέλτιστη τεχνική κωδικοποίησης

1) Δ. Χ. Βούκαλης, Θεωρία Πληροφοριών και Κωδίκων, Εκδόσεις Ίων, Περιστέρι, 1994.

2) Αφράτη Φώτω, Εισαγωγή στη θεωρία της πληροφορίας, Σ.ΑΘΑΝΑΣΟΠΟΥΛΟΣ & ΣΙΑ Ο.Ε., 1994

3) Ι. Ρέκανος, Θεωρία της Πληροφορίας, Σημειώσεις, Τ.Ε.Ι. Κεντρικής Μακεδονίας, Σέρρες.

1) Δ. Χ. Βούκαλης, Θεωρία Πληροφοριών και Κωδίκων, Εκδόσεις Ίων, Περιστέρι, 1994.

2) Αφράτη Φώτω, Εισαγωγή στη θεωρία της πληροφορίας, Σ.ΑΘΑΝΑΣΟΠΟΥΛΟΣ & ΣΙΑ Ο.Ε., 1994

3) Ι. Ρέκανος, Θεωρία της Πληροφορίας, Σημειώσεις, Τ.Ε.Ι. Κεντρικής Μακεδονίας, Σέρρες.

Φοιτητές του τμήματος Μηχανικών Πληροφορικής ΤΕ

Εισήγηση

Ασκήσεις

Θεωρία Πιθανοτήτων και Στατιστική

Βιβλία

1990. Ash, Information Theory, Dover, New York, 1990.

Άρθρα

C.E. Shannon, A Mathematical Theory of Communication, Bell Systems Tech. Journal, vol. 27, pp. 379-423, 1948.

Αναστάσιος Πολίτης