JOGG's

這次上課主要介紹 TFIDF [原由] 　primitive search engine 中, 當user 對某些term做搜尋, 得到的是所有包含這個 term 的結果. 能否根據 documents 中的 term 出現頻率將搜尋結果排序? 　問題1: 當user 輸入 "civil" "war", 可能 "civil" 比 "war" 來的有意義. 　問題2: user 輸入 "civil" x 10000 跟 "war" x 15000 可能沒多大意義 [定義] 　TFIDF = Term Frequency * Inverse Document Frequency 　TF: 一個 term 在 一份 document 中出現的次數 　IDF: 這個 term　在 documents 中有多稀有 [用途] 　1. create a profile of a document/object 　2. this TFIDF profiles can be combined with rating to create user profiles, then match against the future profiles. [Variants and alternatives] 　1. 0/1 boolean frq 　2. Log (TF+1) 　3. normalized frq. [document length] [可能遇到的問題] 　1. core term/concept 沒被使用 　2. poor search [TFIDF的限制] 　1. Phrase and n-grams - 像是computer science 不等同 computer 跟 science 　2. significance in documents - title, tag, heading　覺其他 term 更有意義 　3. general document authority - 像是 google的 pagerank 跟 movie 的 rating 等訊息 　4. implied con...

[*** 以下為個人理解，如有錯誤歡迎指證 ***] [***This article may contain mistakes and thus any correction is greatly appreciated***] 因為學長推薦, 最近在 coursera 上一門叫「Introduction to Recommendation」的課，了解像 amazon, facebook, youtube, rakuten 等是怎麼預測並推薦你會想知道的資訊。 一開始當然遇到很多詞彙要澄清，這裡記錄一下： 1. unstructured data  指的是結構未知（廢言）的資料（通常是text, 但包括audio與video）。舉例來說像是對只懂中文的人來說，與他們說中文以外的語言，由於每個詞彙的語意不明，於是對方的話就成了 unstructured data ... ＊所以 structured data 的代表就像是 RDBMS，就是資料庫啦！ ＊生活上為懂他國語言（unstructured data），我們從單辭文法上著手。在計算機裏頭使用NPL自然語言去找出辭意。 2. information retrieval　有別於NPL了解每個詞的意義，IR採用統計的規律性而非了解字義。這是一種猜，不過是很統計的猜法！最常使用的是 TFIDF (term frequency inverse document frequency)。TF * IDF 被用來評估一個詞彙對於一個文件或整個資料語庫的重要性。簡單說就是一個字在文件中出現的次數越多（TF），同時，在其他文件的次數越少（IDF），則表示這個詞相當具分類的能力。 定義： ＊ static content base ＊ dynamic information need ＊＊ invest time in indexing content and then queries will present  in "real time" 3. information filtering　與IR相反，IF是 dynamic content base & static information need。另外之前一直搞混的地方是 IF 強調是系統透過ML將資料主動...