AMMAI

AMMAI(Week 9) – Latent Dirichlet allocation

Paper Info

“Latent Dirichlet allocation,” D. Blei, A. Ng, and M. Jordan. . Journal of Machine Learning Research, 3:993–1022, January 2003.

Motivation

這篇論文的目標是要改進PLSA方法的缺陷(當training data很多的時候,矩陣會變得很大,造成計算上的麻煩)。

Technical summary

LDA主要概念

1

先看看上圖可以知道LDA跟PLSA的差異在於LDA在document到 topic之間的model變成α-θ-z 的關係,此外,在產生w的機率分佈時也加上β這個機率分佈。

整個流程是

1.透過α產生document的主題機率分佈θ
2.從θ中取樣生成第n個字的主題z(假設有k個主題,那z就是k個裡面的其中一個)
3.透過β跟z產生最後的word

訓練的方法待補

Experiment

比較模型的perplexity(perplexity低表示這個模型較佳)

1

比較分類結果

2

Contribution

LDA這個方法的topic是用機率分佈產生的,所以model 需要 train 的參數也跟著大幅減少(因為不用記每個 document 的topic分布)。

Question

1.為什麼要用Dirichlet distribution當作 p(z|d)的機率分佈?直觀上怎麼理解?

2.加上β的好處是什麼?他跟z的機率分佈差在哪裡?

Tools Learned

LDA

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out /  Change )

Google photo

You are commenting using your Google account. Log Out /  Change )

Twitter picture

You are commenting using your Twitter account. Log Out /  Change )

Facebook photo

You are commenting using your Facebook account. Log Out /  Change )

Connecting to %s