Tantárgy neve, kódja: Információelmélet, MSC_INF_15
Megismeri az informatika szakterület műveléséhez szükséges általános és specifikus matematikai, természettudományos és informatikai elveket, szabályokat, összefüggéseket, eljárásokat, képessé válik ezek szabatos matematikai megfogalmazására, és konkrét problémák megoldására való alkalmazására.
1. Rendszerek csoportosítása. Determinisztikus rendszerek: kanonikus egyenletek. Izomorfia, homomorfia és modell. Turing-gép. Egyensúly és stabilitás, káosz és fraktálok. Newton-Raphson-módszer. 2. Sztochasztikus rendszerek. Stacionárius és ergodikus tulajdonságok. Markov-folyamatok. Master-egyenlet és megoldási módszerei. Határeloszlás, egyensúlyi eloszlás. 3. Az információ fogalma és tulajdonságai. Az információs entrópia. Az információ, mint az állapotra vonatkozó bizonytalanság mennyisége: kérdezési stratégiák, kód fogalma, a Hartley-formula. 4. Az információ valószínűségi értelmezése: az információs entrópia. A Shannon-Boltzmann-formula. Információelméleti entrópiák és kapcsolataik. A kölcsönös információ és tulajdonságai. Kraft-egyenlőtlenség. 5. A hírközlési rendszer modellje. Jelek csoportosítása. .A forrás jellemzése: szimbólumok száma, feloldóképesség, első- és magasabb-rendű statisztikai jellemzés, feltételes forrás, redundancia, kapacitás (mintapéldák). Markov forrás entrópiája. 6. Ergodikus rendszerek. A kód általános fogalma.. Példák természetes és mesterséges kódokra. Kódábécé, kódszó, kód. Egyértelműen dekódolható kódok, változó szóhosszúságú kódok, prefix kódok. McMillan-tétel. A kódolás-elmélet alaptétele. Shannon-Fano-kód. 7. Optimális kód fogalma. Huffman-kód. Futamhossz-kódolás. Aritmetikai kódolás. Alkalmazások. 8. Adaptív kódolás fogalma. Adaptív Huffman-kód. LZW kód (alkalmazási példa: GIF, animált GIF). 9. Csatornakapacitás. Ergodikus rendszerek csatornakapacitásának meghatározása: feltételhez nem kötött és feltételhez kötött források csatornakapacitása. Preferencia-kódolási eljárások. 10, Magasabb-rendű statisztikai szerkezettel jellemzett forrás kódolása (blokk-kódolás, csúszó-kódok, n-gramos kódok). Veszteséges kódolás, kódolás hűségkritériummal. Kódolási példák: JPEG, MPEG. 11. Diszkrét jelek átvitele zajos csatornán. Döntési stratégiák: egymintás Bayes-döntés. Bináris, szimmetrikus csatorna. Hibajavító kódok: kontrolljegyek módszere, Hamming-távolságra épülő eljárások. 12. Kitekintés: kvantuminformatika és kvantum-kriptográfia alapgondolatai.
Elsajátítandó ismeretanyag gyakorlat:
Az előadáson tárgyalt ismeretanyaghoz kapcsolódó számolási feladatok, gyakorlati problémák megoldásához szükséges készségek, módszerek elsajátítása, készségszintű begyakorlása.
Tudása:
- Ismeri a műszaki informatikai rendszerek fejlesztéshez szükséges, széles körben alkalmazható problémamegoldó technikákat.
- Érti az informatikai alkalmazások fejlesztéshez szükséges természettudományos és mérnöki módszerek elvét.
- Képes törvényszerűségeket, összefüggéseket feltárni és megérteni.
- A megszerzett tudást képes alkalmazni és a gyakorlatban hasznosítani.
- Megérti az alkalmazás követelményeit.
- Nyitott és elkötelezett az önművelésre, önfejlesztésre, az egyéni tudás, ismeret elmélyítésére, bővítésére a természettudományok, a mérnöki és informatikai tudományok területén.
- Alkalmas csoportban, egy-egy részterület szakértőjeként dolgozni, valamint csoportot felelősséggel irányítani.
Félévközi tanulmányi követelmények:
Két félévközi dolgozat megírása az előadásokon, előre bejelentett időpontokban. A dolgozatírások során használható zsebszámológép, továbbá saját kézírású (nem fénymásolt, nem nyomtatott) egy lapos, kétoldalas (A4 méretű) képletgyűjtemény. A kidolgozásukra fordítható idő 30 perc, pontértékük egyenként 25 pont, tehát összesen szerezhető maximum pontszám F=50. Ezek a félévközi dolgozatok nem pótolhatók és nem javíthatók.
Vizsgakövetelmények:
A vizsgára bocsátásnak nincs feltétele, csak a gyakorlatokon való a vizsgaszabályzatban előírt részvétel. A hallgatóknak egy 50 pontos, 90 perces vizsgadolgozatot kell írniuk. A dolgozatírás során használható zsebszámológép, továbbá saját kézírású (nem fénymásolt, nem nyomtatott) egy lapos, kétoldalas (A4 méretű) képletgyűjtemény. Megajánlott jegy nincs, (az F pontszámtól függetlenül) mindenkinek fel kell jelentkeznie vizsgára, a vizsgán megjelennie és vizsgadolgozatot beadnia. A félévközi dolgozatokkal szerezhető pontszám (F) maximum 50, Vizsga zárthelyi dolgozattal szerezhető pontszám (V) maximum 50 ------------------------------------------------------------------ A szerzett pontszámok alapján számított P eredménypont: P=106,5-sqrt(125*(50,3125-F-V+F*V/50)) A jegyeket a fenti képlettel számított P eredménypontok alapján az alábbiak szerint állapítjuk meg: 50 pont alatt: 1, [50-65[ pont: 2, [65-80[ pont: 3, [80-90[ pont: 4, 90 ponttól: 5. MEGJEGYZÉS: A fentebb megfogalmazott félévközi és vizsgakövetelmények a „hagyományos” jelenléti oktatásra vonatkoznak. Online oktatás esetén az adott körülményektől (az áttérés időpontjától, a vizsgaidőszak mikéntjétől, stb.) függően változhat a számonkérések rendje és módja, amelyről természetesen a lehető leggyorsabban és egyértelműen tájékoztatást adunk, de mindenképpen a folyamatos tanulás fontosságára hívjuk fel a figyelmet.
Letölthető elektronikus segédanyagok.
Tóthné Laufer Edit: Az információ- és kódelmélet alapjai, 2019. ISBN: 978-963-449-135-4 Ranjan Bose: Information Theory, Coding & Cryptography, 2016 McGraw Hill, ISBN 978-938-588-056-8
Győri Sándor, Vajda István, Györfi László: Információ- és kódelmélet, 2013, Typotex Kiadó, ISBN: 9789639132849 Nagy Szilvia: Információelmélet, Értékünk az Ember sorozat, 2006. F. Bavaud J., C. Chappelier, J. Kohlas: An Introduction to Information Theory and Applications, 2017., University of Fribourg J. V. Stone: Information Theory: A Tutorial Introduction, 2015 Sebtel Press, ISBN 978–0–9563728–5–7