AMMAI

AMMAI(Week 10) – Story-driven summarization for egocentric video

Paper Info

Z. Lu and K. Grauman. Story-driven summarization for egocentric video. CVPR 2013.

Motivation

這篇論文主要是想把一個egocentric的影片(例如用google glass或go pro拍的影片)所說的故事做一個摘要,這個摘要用幾張字影片截取出的圖片呈現。

Technical Summary

要做到這樣的一個摘要,這篇論文是把影片中重要的影像(subshot)取出來,再把這些影像的因果關係理出來。所以第一個重點就是要怎麼表示subshot,第二個重點就是要怎麼判斷一串subshot好不好。

Goal Definition

首先這篇論文把一個影片表示n個subshot的組合

1

然後假設只取其中K個當作摘要

 2

 所以如果有某種評分的函數,目標就是要挑選最大化這個函數的摘要

3

其中要注意的是他使用了story, importance, diversity當作評分機制

4

Subshot表示法

他們首先將一連串的frame都分成三類中的其中一類-static, transit(人在移動), moving the head(注意力轉移),其中移動跟注意力轉移只要看光流方向就可以決定。接著用MRF把label變得比較smooth,例如static=>transit=>static=>transit這種轉移發生的機率就很低,然後把一串同一個label的frame變成一個subshot。(這就是他們的subshot segmentation方法)

剩下的就只是偵測subshot中有出現的物體,如果有比較多見過的物體就用預先train好的物體模型、如果沒有就用unsupervised的visual word表示。

評分機制

story的評分方式是最有趣的,主要精神是要讓subshot之間的影響大的chain評分高,所以他們定義了objective function:

1

我覺得最有趣的地方在於他們把subshot跟object連成一個bipartite graph,然後從subshot A開始random walk,如果”常常”走到subshot B,表示A跟B之間的連結性很高。(當然這種graph要好,其中的重點就在於edge的權重要怎麼定,這裡是定成object在subshot中出現的頻率)

importance是參考其他paper的方法來計算,而diversity就只是算畫面的差異程度,都不是太重要。

Experiment

我覺得這篇論文的實驗滿值得一看的,因為要是我來做這樣的一個題目,我還真不知道要怎麼量化來比較我的結果是好還是不好。我初步的想法是可以先建立一個資料庫,讓很多人一起來評分,先建立起一個大家普遍覺得好的摘要,然後再用相似性來比較我的摘要跟資料庫提供的正確摘要是不是夠像。

後來發現他們是讓使用者去評分哪一段summary最好,藉以跟其他方法比較。

1

1

Contribution

跟傳統的方法比較起來,這篇論文提出的摘要方法更傾向把影片中事件發生的因果關係找出來。在戲劇的理論中有提到故事跟情節的差異,故事是一串事件的描述,而情節是包含這些事件之間的因果關係,有因果關係才有很多變化可以延伸,有些因果合理卻鮮少發生是造成戲劇張力的重要因素,而電腦怎麼去把這種摘要提升到藝術層次,了解因果是重要的第一步,這是這篇論文的重要貢獻。

Tools Learned

Bipartite graph的設計方法

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out /  Change )

Google photo

You are commenting using your Google account. Log Out /  Change )

Twitter picture

You are commenting using your Twitter account. Log Out /  Change )

Facebook photo

You are commenting using your Facebook account. Log Out /  Change )

Connecting to %s