Ενότητα 1. Πληροφορία
Γίνεται εισαγωγή στην έννοια της πληροφορίας και προσδιορίζεται το μέτρο και οι μονάδες της. Επίσης, περιγράφονται οι ιδιότητες που έχει το μέτρο της πληροφορίας ενός γεγονότος. Περιγράφεται η έννοια της αβεβαιότητας. Γίνεται σύνδεση της αβεβαιότητας πραγματοποίησης ενός γεγονότος με την έννοια της εντροπίας και προσδιορίζεται το μέτρο και οι μονάδες της. Δίνονται παραδείγματα και ασκήσεις.
Δίνονται βασική ορισμοί που περιγράφουν την πηγή πληροφορίας και προσδιορίζεται η εντροπία πηγής πληροφορίας, η απόσταση Kulback-Leibler (Σχετική Εντροπία), η δυαδική πηγή πληροφορίας , η συνδετική εντροπία σύνθετης πηγής και η υπό συνθήκη εντροπία σύνθετης πηγής. Δίνεται η ερμηνεία της διαπληροφορίας και πώς αυτή συνδέεται με την πληροφορία που μεταφέρεται σε έναν επικοινωνιακό δίαυλο. Κατόπιν δίνεται ο ορισμός της , οι μονάδες της και οι ιδιότητες της. Δίνονται παραδείγματα και ασκήσεις.
