關於 naive Bayes
在 machine learning in action 一書中提到了要談 native Bayes 得先了解 conditional probability. 他舉的例子很簡單, 但總老是忘記, 在此記錄. Total: 7 balls, 2 buckets [Bucket A] 2 gray, 2 black [Bucket B] 1 gray, 2 black conditional probability P(gray|B) 解釋為已知道選 bucket B的條件下, 是 gray的機率. 毫無疑問地, 是1/3. 又 \begin{align*} P(gray|B) = \frac{P(gray \mspace{2pt} and \mspace{2pt} B)}{P(B)} 可理解為 \frac{「是 gray 且是bucket B的機率 」}{「為bucket B的機率」}\end{align*} 只是這樣的解釋一時自己無法理解 P(B), 原來是還是要補上「 抽出一顆球 」. P(gray|B): 抽出一顆球, 在已知來自B的條件下, 是gray的機率. 1/3 P(B): 抽出一顆球是來自B的機率. 3/7 P(gray and B): 抽出一顆球, 是gray且來自B的機率 (or 是B中的gray的機率, 或許比較好理解). 1/7 \begin{align*} P(gray|B) = \frac{P(gray \mspace{2pt} and \mspace{2pt} B)}{P(B)} = \frac{1/7}{3/7}=\frac{1}{3}\end{align*} 不過通常要求的不會是 P(gray|B), 而是 P(B|gray). 利用 Bayes Rule (swap the symbol in a conditional probability statement): \begin{align*} P(gray|B) = \frac{P(B)P(gray|B)}{P(gray)}\end{align*} \begin{align*} 通式： P(C|x) = \frac{P(C)P(x|C)}{P(x)}\end{align*} 接著改寫先前依據 Bayesian Decision