首页 > 分享 > 贝叶斯决策理论之入门篇

贝叶斯决策理论之入门篇

萌宠菠菠乐园
2024-09-20 21:58

贝叶斯定理

首先是条件概率公式如下：

P(A|B)=P(B|A)P(A)P(B)" role="presentation">P(A|B)=P(B|A)P(A)P(B)

为了方便理解，可以参考下图

图1 条件概率

已知两个独立事件A" role="presentation">A和B" role="presentation">B，那么事件B" role="presentation">B发生的前提下，事件A" role="presentation">A发生的概率可以表示为P(A|B)" role="presentation">P(A|B)，即上图中橙色部分占红色部分的比例，那么P(A|B)" role="presentation">P(A|B)就可以表示为P(AB)P(B)" role="presentation">P(AB)P(B)，同理可以得到P(B|A)=P(AB)P(A)" role="presentation">P(B|A)=P(AB)P(A)，再整理下就可以得到贝叶斯公式了。

再介绍下全概率公式

P(B)=∑i=1nP(Ai)P(B|Ai)" role="presentation">P(B)=∑i=1nP(Ai)P(B|Ai)

简单的推理其实就是在完备事件 A" role="presentation">A中，事件B" role="presentation">B发生的概率 P(B)=P(A,B)" role="presentation">P(B)=P(A,B)，若将完备事件划分为n个互斥事件 {A1,A2,...,An}" role="presentation">{A1,A2,...,An}，则 P(B)=∑i=1nP(Ai,B)" role="presentation">P(B)=∑i=1nP(Ai,B)，通过贝叶斯公式就可以得到上述全概率公式。具体可以参考下图辅助理解

图2 全概率

以上图中A5" role="presentation">A5为例，根据条件概率公式可以知道P(A5|B)=P(B|A5)P(A5)P(B)" role="presentation">P(A5|B)=P(B|A5)P(A5)P(B)，再利用可以利用全概率公式则可以得到P(A5|B)=P(B|A5)P(A5)∑i=15P(Ai)P(B|Ai)" role="presentation">P(A5|B)=P(B|A5)P(A5)∑i=15P(Ai)P(B|Ai)

那么经典帅气的贝叶斯公式如下：

P(Ai|B)=P(B|Ai)P(Ai)P(B)=P(B|Ai)P(Ai)∑j=1nP(Aj)P(B|Aj)" role="presentation">P(Ai|B)=P(B|Ai)P(Ai)P(B)=P(B|Ai)P(Ai)∑j=1nP(Aj)P(B|Aj)

贝叶斯决策

贝叶斯决策就是利用贝叶斯理论进行决策分类，是统计机器学习的基本方法之一，以前导师曾说过，如果你的理论推导能够结合贝叶斯决策理论，那会给论文加分不少。现在流行的深度学习本身是基于神经网络的，但由于需要大数据的支持，因此也可以通过统计机器学习方法来进行分析和论证，具体的结合方法可以参考SegNet里面的贝叶斯方法，接下来要讲的就是具体的贝叶斯决策方法。
很多时候呐，在模式识别的问题里，我们只能够观察到一系列的特征x=[x1,x2,...,xn]T" role="presentation">x=[x1,x2,...,xn]T，那么如何对这一系列的观察值进行分类呐？在统计机器学习里面，就是求解概率P(ωi|x)" role="presentation">P(ωi|x)，可以理解为在观察到特征x" role="presentation">x的前提下，观察到的现象属于ωi" role="presentation">ωi类的概率是多大。
还是以书上最常用的观察细胞特征并判断细胞是否正常的栗子来说明（唔~你可以认为我是懒得举别的栗子），首先是已知条件，观察到的细胞特征是n维向量x=[x1,x2,...,xn]T" role="presentation">x=[x1,x2,...,xn]T，细胞分为正常细胞ω1" role="presentation">ω1类和异常细胞ω2" role="presentation">ω2类；当然P(ω1)+P(ω2)=1" role="presentation">P(ω1)+P(ω2)=1，如果仅从先验概率P(ω1)" role="presentation">P(ω1)和P(ω2)" role="presentation">P(ω2)对细胞进行分类，合理的方法是：当P(ω1)>P(ω2)" role="presentation">P(ω1)>P(ω2)时，认为是正常细胞，反之则是异常细胞；但实际不可能这么做，因为一般情况下先验概率都是个常量，而且我们对细胞的分类是会随着观察值的改变而改变的，那么如果我们现在观察到了细胞特征x" role="presentation">x，在特征x" role="presentation">x的基础上要判断细胞是属于哪一类，就是要判断P(ω1|x)" role="presentation">P(ω1|x)和P(ω2|x)" role="presentation">P(ω2|x)的大小。

图3

结合贝叶斯公式，可以知道P(ω1|x)=P(x|ω1)P(ω1)∑i=12P(x|ωi)P(ωi)" role="presentation">P(ω1|x)=P(x|ω1)P(ω1)∑i=12P(x|ωi)P(ωi)，那么就把求解P(ωi|x)" role="presentation">P(ωi|x)转变为了求解先验概率P(ωi)" role="presentation">P(ωi)和条件概率P(x|ωi)" role="presentation">P(x|ωi)，唔，怎么说呢，其实这两个概率应该是都可以通过采样获取的，结合上图，可以理解为P(ωi)" role="presentation">P(ωi)就是对完备事件的划分ω1" role="presentation">ω1和ω2" role="presentation">ω2的面积比例，P(x|ωi)" role="presentation">P(x|ωi)就是在ωi" role="presentation">ωi划的区域内x所占的面积比例（P(x|ω1)" role="presentation">P(x|ω1)就是橙色所占黄色的比例）
以上，在贝叶斯决策里，我们通常要求解的P(ωi|x)" role="presentation">P(ωi|x)被称作后验概率，P(ωi)" role="presentation">P(ωi)被称作先验概率，P(x|ωi)" role="presentation">P(x|ωi)被称作观察x的类条件概率，当然《模式识别（第二版）》那本书上用的是条件概率密度，嗯，其实也就是观察值的连续函数，在很多的问题当中，是要对这个概率密度函数的参数进行估计才能继续求解的，因此贝叶斯决策理论很多时候都是建立在强假设条件下；当然，贝叶斯决策也有损失函数，那么基于损失函数就会有很多不同的决策方法，例如基于最小错误率、最小风险等。

最小错误率贝叶斯决策

试着将图3转换一下，首先，观察到x" role="presentation">x的概率P(x)" role="presentation">P(x)可以被看作是一个常量（这里应该可以看作事件B在完备集中的概率是一定的，即图3中圆形面积是一定的，那么其观测值一定是落在圆形区域范围之内，也就是一定的），根据贝叶斯公式，P(ωi|x)" role="presentation">P(ωi|x)就正比于条件概率密度函数p(x|ωi)" role="presentation">p(x|ωi)，P(ωi|x)∝p(x|ωi)" role="presentation">P(ωi|x)∝p(x|ωi)（这里不是概率了，如果是在具体的问题中，可以用概率P" role="presentation">P对最终结果进行求解，但这里是一般性的推导，所以就将其转换为对应的概率密度函数了，额，不知道怎么说会不会有BUG），那么这个概率密度函数的图像又是什么样的呐？假定x" role="presentation">x是一维的，那么图3对应的概率密度函数图像可能如下图所示

图4 条件概率密度函数曲线

横坐标是观察值 x" role="presentation">x的取值，根据概率密度函数就可以得到P(x|ωi)" role="presentation">P(x|ωi)，那么在什么情况下会出现错误分类的情况呢？假定图4中观察到的 x0" role="presentation">x0是属于 ω2" role="presentation">ω2类的，但此时根据概率密度函数有 p(x0|ω1)>p(x0|ω2)" role="presentation">p(x0|ω1)>p(x0|ω2)，贝叶斯决策就会将 x0" role="presentation">x0归为 ω1" role="presentation">ω1类。以 P(e)" role="presentation">P(e)来表示贝叶斯决策的平均错误率，定义为

P(e)=∫−∞+∞P(e,x)dx=∫−∞+∞P(e|x)P(x)dx" role="presentation">P(e)=∫−∞+∞P(e,x)dx=∫−∞+∞P(e|x)P(x)dx

对于 P(e,x)" role="presentation">P(e,x)，可以理解为在观测到 x" role="presentation">x时并且将x" role="presentation">x错误分类的概率，参考图4中的 x0" role="presentation">x0，通过条件概率公式就可以得到 P(e|x)P(x)" role="presentation">P(e|x)P(x)。对于二分类问题，我们可以令

P(e|x)={P(ω1|x)  when  p(ω1|x)<p(ω2|x)P(ω2|x)  when  p(ω1|x)>p(ω2|x)" role="presentation">P(e|x)={P(ω1|x) when p(ω1|x)<p(ω2|x)P(ω2|x) when p(ω1|x)>p(ω2|x)

其实就是原本属于 ω1" role="presentation">ω1类但观察值 x" role="presentation">x出现在图4中虚线右边，或者原本属于ω2" role="presentation">ω2类但观察值 x" role="presentation">x出现在虚线左边（嗯，对的，就是图4中两个波峰重叠的部分），假定虚线处的横坐标值为t" role="presentation">t，这样就可以把 P(e)" role="presentation">P(e)的积分部分拆分为两个部分求和，即

嗯，对，上式我跳步了，有需要的自己看下书，谢谢！以上，可以看到平均错误率其实就是图4中重叠部分的面积，其中虚线可以被看作是一个决策分界， x>t" role="presentation">x>t的时就将其分类到 ω2" role="presentation">ω2类，反之亦然。以此推广到 n" role="presentation">n维空间的话，就有

P(e)=∑i=1n∑j=1j≠inP(x∈Rj|ωi)P(ωi)" role="presentation">P(e)=∑i=1n∑j=1j≠inP(x∈Rj|ωi)P(ωi)

额，其实上面都在抄书，只是为了证明，普通情况下，这样的贝叶斯决策是基于最小错误率的。当然，在这种情况下，都是假定每次决策错误的风险都是一样，如果做出错误决策的风险不一样了，怎么办？

最小风险贝叶斯决策

那么，如果做每一项决定的时候都有风险，那么如何使得贝叶斯决策的风险最小呐?这里还是用观察细胞状态的栗子来进行说明，如果将异常细胞判断为了正常细胞，就有可能耽误就诊，其风险就大于将正常细胞误判为异常细胞的风险。此时最小错误率的决策方法就不适合了，那么为了使风险减小，就需要移动图4中虚线的位置，要使得风险更大的那类错误分类更小，如下图所示

图5 最小风险贝叶斯决策

定义决策风险系数 λ(α,ω)" role="presentation">λ(α,ω)是一个关于真实状态（ ω" role="presentation">ω）和决策（ α" role="presentation">α）的函数，那么根据期望的定义可以知道采取决策 αi" role="presentation">αi决策期望风险 R(αi|x)=∑j=1nλ(αi,ωj)P(ωj|x)" role="presentation">R(αi|x)=∑j=1nλ(αi,ωj)P(ωj|x)，期望风险

R=∫R(α(x)|x)p(x)dx" role="presentation">R=∫R(α(x)|x)p(x)dx

唔~上式还是抄书的。其实呐，说了辣么多，在实际操作的时候，就是在根据贝叶斯公式求解出 P(ωi|x)" role="presentation">P(ωi|x)之后，再乘以对应风险系数 λ" role="presentation">λ得到风险值，最后根据风险值进行决策就好了。
另外一点，最小错误率贝叶斯决策就是在0-1损失函数条件下（也就是说风险均等，任何错误的损失系数都为1）的最小风险贝叶斯决策

其他的决策方法

还有比如最大最小决策、序贯分类方法等这里就不提了（不提别当作没有啊）

以上主要是我自己对贝叶斯决策的理解，当然有很多其实是抄书，但是多少附加了自己的理解上去，可能不对，请帮忙指出我好改正，谢谢！
其实是我懒，不想写后面的，下次再说吧