《信息论，推理和学习算法》学习笔记——概率，前向概率，反向概率

参考《信息论，推理和学习算法》

基本概念：

概率：随机试验中结果出现的频度；

置信度：个体对事件的猜测概率；注意此时该事件并无概率，只是对事件进行判断的主题根据现有证据，对事件属于某个分区的猜测；

概率法则保证：如果两个人做同样的假设，得到相同的数据，那么他们就会得到相同的结论。更广义地使用概率来量化置信则被称为贝叶斯观点，也被称为概率的主观解释，因为概率取决于假设；

前向概率

前向概率涉及发生模型，该模型描述在一定假设下产生一些数据的过程，任务是计算取决于数据的某个数量的概率分布或期望值；该模型常见于一般的概率模型，n次掷硬币，从罐子里取小球问题，均属于前向模型；下面以书2.4为例：

描述数据生成过程：从装有K个球的罐子中，其中B个黑球，K-B个白球，随机从中选取一个球，再放回去，如此重复N次

任务：计算取出黑球次数n的概率分布

如题，概率分布为：伯努利分布

反向概率

反向概率也涉及一个过程的发生模型，但是不用计算该过程产生的某个量的概率分布，而是计算在给定观察变量的前提下，过程中一个或多个未观察变量的条件概率。

以下例子为分析：

例2.6 共有11个罐子，标记为u属于{0， 1， 2， ..., 10}&