Základy teorie informace a statistické entropie

V teto bakalařske praci se na zacatku věnujeme uvodu do teorie informace a vzniku Shannonovy entropie, kterou si v nasledujici casti odvodime a definujeme. Ve třeti kapitole si uvedeme dalsi pojmy založene na entropii, jako je podminěna entropie, relativni entropie nebo vzajemna informace. V zavěrecne casti se pak zabývame diferencialni entropii. V textu jsou take spocitany entropie některých znamých rozděleni pravděpodobnosti, jako je normalni nebo geometricke rozděleni.