2012 Multimedia Grand challenge

Analyzing social media via event facets

Wang, Zhiyu, et al. "Analyzing social media via event facets." Proceedings of the 20th ACM international conference on Multimedia. ACM, 2012.

facets:

5w1h : who, when , where , what , why ,how

事情的六個面向

兩步驟:

1.同時藉由影像及文字得到更豐富的內容

2.利用BC-LDA設法得到具代表性的內容

最後再視覺化

做法 

1.先做斷詞，斷出來的詞跟TAG常常有很大的不同
2.影像部分用SIFT

利用BC-LDA學習文字與影像的主題












一個事件利用上述的六個面向展示
同時，我們也可以利用時間軸展示事件的起始與結束


how!!!!!!!!找不到tech report QQ
同時把文字跟影像放進LDA感覺是個不錯的做法
可以避免將文字跟影像分開做時，要將兩者link在一起的困難

Multimedia news digger on emerging topics from social streams

Bao, Bing-Kun, et al. "Multimedia news digger on emerging topics from social streams." Proceedings of the 20th ACM international conference on Multimedia. ACM, 2012.

同時利用了三個資料來源:
Twitter,  Flicker,  Google news

步驟

(1)在不需要使用者介入下，自動從Twitter偵測緊急的主題
(2)在不受訊息長度影響下，正確偵測關鍵字
(3)自動的從三個資料來源收集資料

方法 

co-clustering 應該盡量減少資訊的損失

其他用到的方法

(1) 資料蒐集

text:    TF-IDF 加入stop word

image: vector of Bag of Word features

Porter, Martin F. "An algorithm for suffix stripping." Program: electronic library and information systems 14.3 (1980):

(2)緊急關鍵字探勘

age theory

Chen, Kuan-Yu, Luesak Luesukprasert, and Seng-cho Timothy Chou. "Hot topic extraction based on timeline analysis and multidimensional sentence modeling." IEEE transactions on knowledge and data engineering 19.8 (2007): 1016.

(3)跨媒體的搜尋

manifold ranking

感覺要做的好還是必須要跨媒體去做，而不能只考慮單一媒體的資訊

TWIPIX: a web magazine curated from social media

Bansal, Romil, et al. "Twipix: a web magazine curated from social media."Proceedings of the 20th ACM international conference on Multimedia. ACM, 2012.

interestingness          : I = P*F*R*N

popularity                   : P : number of unique user tweeting about  the tweet

information value       :F = a*log(w) + b*i +c*n 

                                      a.b.c:weight

                                      w:word-count of the event title 

                                      i :number of image

                                      n:number of news article

 recentness                :R:number of original  tweet  on data

novelty                        :N: 1/(1+e^(eta*(d-delta)))

                                    d:number of days which event is active

如果相似度比T1大，並且時間有重疊，那就把兩個合併在一起

如果相似度比T2大，不管時間有沒有重疊，他們會被稱做相關的，並且，如果他們共用了同一個影像或者新聞文章，那麼他們就會被合併在一起

(T1>T2)