词语:信息熵、信源熵、
熵的概念是由德国物理学家克劳修斯于1865年所提出,最初用于描述“能量退化”的物质状态参数之一,在热力学中被广泛应用。然而在1948年,克劳德·艾尔伍德·香农将热力学的熵,引入到信息论,因此它又被称为香农熵(Shannon entropy)。在信息论中,熵(英语:entropy)是接收的每条消息中包含的信息的平均量。
词语:信息熵、信源熵、
熵的概念是由德国物理学家克劳修斯于1865年所提出,最初用于描述“能量退化”的物质状态参数之一,在热力学中被广泛应用。然而在1948年,克劳德·艾尔伍德·香农将热力学的熵,引入到信息论,因此它又被称为香农熵(Shannon entropy)。在信息论中,熵(英语:entropy)是接收的每条消息中包含的信息的平均量。