Introduction to Recommendation - 關於 TFIDF

這次上課主要介紹 TFIDF

[原由]
　primitive search engine 中, 當user 對某些term做搜尋, 得到的是所有包含這個 term 的結果. 能否根據 documents 中的 term 出現頻率將搜尋結果排序?
　問題1: 當user 輸入 "civil" "war", 可能 "civil" 比 "war" 來的有意義.
　問題2: user 輸入 "civil" x 10000 跟 "war" x 15000 可能沒多大意義

[定義]
　TFIDF = Term Frequency * Inverse Document Frequency
　TF: 一個 term 在 一份 document 中出現的次數
　IDF: 這個 term　在 documents 中有多稀有

[用途]
　1. create a profile of a document/object
　2. this TFIDF profiles can be combined with rating to create user profiles, then match against the future profiles.

[Variants and alternatives]
　1. 0/1 boolean frq
　2. Log (TF+1)
　3. normalized frq. [document length]

[可能遇到的問題]
　1. core term/concept 沒被使用
　2. poor search

[TFIDF的限制]
　1. Phrase and n-grams - 像是computer science 不等同 computer 跟 science
　2. significance in documents - title, tag, heading　覺其他 term 更有意義
　3. general document authority - 像是 google的 pagerank 跟 movie 的 rating 等訊息
　4. implied content - 包含的 link, usage　等等

Comments

Post a Comment

Popular posts from this blog

股票評價(Stock Valuation) - 股利折現模型

Image
這邊討論的是股價(普通股)的評價，包括股利折現模型、成長機會模型與本益比模型。 1. 股利折現模型( The Dividend Discount Model, DDM ) 股票的現金流可以分為兩個部分：股利的收入及股價的變動 先來定義 Pt：第t期的每股股價 Dt：第t期的每股股利 Rs：股利折現率(或稱為股東的必要報酬率) 當下的股票現值P0 =  D1/(1+Rs)  + P1/(1+Rs) ... (1) 一年後的股票現值 P1 = D2/(1+Rs) + P2/(1+Rs) ... (2) 將(1)代入(2)可得  P0 = D1/(1+Rs) + D2/[(1+Rs) ^2] + P2/[(1+Rs)^2] 可推得 P0 = D1/(1+Rs) + D2/[(1+Rs) ^2] + D3/[(1+Rs)^3] + ... =   SIGMA(t=1, infinite)  D1/[(1+Rs)^t] 常見的股利折現模型有三種， a. 零成長型(Zero Growth) , 即D1=D2=D3=...    利用等比級數公式, a0=D1/(1+Rs), r= 1/(1+Rs)  =>  p0 = D1/Rs      [*這跟永續年金的結果相同] b. 固定成長(Constant Growth) , 即股利按固定比率ｇ成長, D2=D1*(1+g), ...    => P0 = D1/(Rs-g)    b.1這個模型又稱為戈登模型(Gordon Model)或股利成長模型(dividend growth model)         因為這個模型提供我們很好的直覺：         b.1.1 當公司宣布年底股利增加, D1上升, P0上升 b.1.2 當公司盈餘成長, g上升, P0上升         b.1.3 當資本或風險提升，Rs上升, P0下降    b.2固定成長型的資本利得率＝股利成...
Read more

openwrt feed的使用

最近又回去看Openwrt發現feed, 來記錄一下. feed 是一個挺有趣的東西, 在Openwrt 理面它是一堆 packages 的集合,  我想應該是因為不同的 packages 可能來自不同的地方, 透過 feed 提供介面管理這些 packages. (1) where is feeds     放在 scripts/feeds (2) feeds command     update:        撿查 feeds.conf  # or feeds.conf.default       將各自的feeds下載後放到 feeds/        建立 XXX.index      list:       透過 XXX.index, 列出 feeds/ 的feeds     install:       建立symbolic link. # from feeds/XXX  to packages/feeds/XXX (3)自己建立 feeds       1. svn co svn://svn.openwrt.org/openwrt/trunk/[BRANCH]  [OPENWRT]       2. svn co svn://svn.openwrt.org/openwrt/package  [OPENWRT]/packages       3. 撰寫自己的 feeds.conf       4. >script/feeds update -a       5. >script/feeds install       6. make menuconfig        參考Openwrt 連結 ...
Read more

R 語言：邏輯回歸 Logistic Regression using R language （二）

Image
> library('MASS') > data(menarche) > str(menarche) 'data.frame': 25 obs. of 3 variables: $ Age : num 9.21 10.21 10.58 10.83 11.08 ... $ Total : num 376 200 93 120 90 88 105 111 100 93 ... $ Menarche: num 0 0 0 2 2 5 10 17 16 29 ... > summary(menarche) Age Total Menarche Min. : 9.21 Min. : 88.0 Min. : 0.00 1st Qu.:11.58 1st Qu.: 98.0 1st Qu.: 10.00 Median :13.08 Median : 105.0 Median : 51.00 Mean :13.10 Mean : 156.7 Mean : 92.32 3rd Qu.:14.58 3rd Qu.: 117.0 3rd Qu.: 92.00 Max. :17.58 Max. :1049.0 Max. :1049.00 上頭是 R 所提供的一個很好的 Logistic Regression with One numerical predictor 的例子。 簡單的說就是有一組三個自變數分別是 age, total 以及 menarche ，中文的大意是『我們收集了一共25組女性樣本，記錄每組的平均年紀，訪問次數以及受訪者是否發生初經』。 > plot(Menarch/Total ~ Age, data=menarche) 上圖很明顯的指出 age 與 menarch rate 呈指數關係，適用於羅輯回歸。 > glm.out = glm(cbind(Menarche, Total-Menarche) ~ Age, family = binomial(logit), data=m...
Read more