相对熵

信息论基础

梳理熵、互信息、KL 散度、数据处理不等式与 Fano 不等式，并由大数定律和渐进均分性质引出典型集及信源编码。