ROI -- Jack Philips 8/3 訓練成效評估研習

Jack Philips現任ROI Institute負責人，也是ROI評量方法的創始者。這次在研討會中，他深入淺出地介紹了ROI的邏輯架構與實務作手法。重點摘要如下：

一、ROI的邏輯架構相當清楚，要衡量的是對於人力資本的投資報酬率。以往在訓練課程的衡量著重於投入與產出的說明，ROI的做法則是以結果導向，專注於衡量投資報酬率，以提供組織在訓練投資的參考。

二、ROI並不是訓練成效評估的唯一方法，有許多的做法可以運用，但是有幾考量讓我們將ROI列為首選：1.衡量人力資本投入的評估方式慢慢地改變，ROI是，而ROI的做法剛好可以因應這樣的改變。2.ROI可提供我們人力資本投資決策的參考，我們也可以和一般資本投資做比較，衡量投資報酬率。3.ROI可提供經營階層衡量人力資本價值的依據。

三、ROI是針對一個訓練機化的整體評估，從事前資料類型的定義與收集。一直到事後的評估計算，以系統化且一致的做法，ROI可以呈現真實的訓練成效。並且將四階層的訓練成效評估架構落實到實務執行層面。

四、在ROI的做法中，有幾個關鍵點如下：1.定義要收集的資料類型。這個相當重要的，因為這牽涉到我們要衡量的標準以及層級，如果能明確定義，就可以明確地計算ROI。2.計算ROI時，我們有一些準則需要遵守，其中有一個是保守原則。保守原則指的是我們在做計算時，提供的數據要準確、可靠。不真實或來源不清楚的資料盡量不用，讓ROI的計算能更具說服力。

五、ROI的步驟中，有一步是Isolation，中文是應該是“確認影響因子”。我們衡量成效的時候，因為外在環境的改變迅速，我們無法確定績效的提升，是否真的是因為訓練計畫的實施而產生的。因而需要去除不相關的影響因子，突顯出訓練計畫的效果。主要的做法有幾個，其中包含對照組設置、時間序列資料運用、專家意見等等工具。

六、ROI的架構並不複雜，但在運用之前，必須要有清楚的目標。應該有一個超越訓練目標的方向，偵測組織的需要，明確訓練架構，如此ROI才能達到好的效果。

接下來，milo透過學員與Jack Philips的問答，將可能的關鍵問題做說明：

問：如何衡量人員參加訓練的成本，光是以薪資作衡量似乎不夠完整，沒有考慮到其他的機會成本？（台積電Susan）

答：學員參與培訓的成本的確滿難評估的，除了訓練費用、訓練期間的薪資成本等，應該還需考慮其他的成本。有幾個建議：1.以薪資作考量，直接反應員工參加訓練對公司生產力的影響。2.以替代方案衡量。例如，要花多少錢才能找一個人來做同樣的工作。如果不參加訓練，其它方式的成本又是多少。3.機會成本不易衡量，不過還是可將所有可能發生的成本計算進去。

Milo的說明：在這個問題中，Jack Philips的說明不不是很清楚（可能是milo沒充分理解）。不過就這個問題，milo的想法還滿簡單的。一、假設公司提供給員工的薪資是具有競爭力的，亦即，在市場上能夠以此薪資雇用到頂尖的人才，其實這個薪資就包含了員工所有可能的生產力預估，不需要再考量其他的機會成本，例如，他會因為呆在公司，而開發出新的專利。反而是，薪資已經預估他會開發專利的機率了。二、從另一個角度看，大家對於機會成本的概念還有一點點誤解。讓milo幫大家說明，定義上，機會成本是你所放棄的最高價值。舉個例子來說，當公司決定派一個人去受訓，機會成本就是將這個人留在公司的生產力。而生產力的最佳逼近其實就是薪資水準，因此，milo認為以公司投資在人力資源的角度來看，要做ROI分析時，其實用薪資逼近即可。

問：請問是否有任何相關的人力資本投資的參考書？（應材Jennifer）

答：AMACOM近期出版了一本叫做：Investing in your company’s human capital。應該是滿適合的參考教材。此外，一些探討創新與創意的書籍，也會提供相關的概念。

Milo的說明：AMACOM是AMA（美國管理協會）的出版機構，可以透過下列網址收尋：http://www.thattechnicalbookstore.com/b0814408532.htm

問：在美國平均的訓練ROI大概是多少？（亞太教育訓練網Michael）

答：這個問題相當難回答。不過可以參考已經發表的個案討論，應該可以給你們一些概念。不過需要強調的是，平均值在ROI不太具有意義，因為ROI是針對不同企業的不同情況做討論，平均值不能反映整體業界的平均做法。

Milo說明：這裡的問題主要是想要釐清標竿企業的ROI水準，因為一般來說，ROI的計算都是針對個案，我們並無法說服主管其他實務做法的標準，因此需要討論平均值。不過，因為ROI通常都是以個案為主，不同公司的評估標準不一致，平均值並不具參考價值。

問：Isolation的做法為何？（彰化師範大學洪先生）

答：Isolation的方法有好幾個，通常應用有三個，第一是對照組的設置，第二是趨勢／預估與分析，第三是專家估計。

Milo說明：Isolation的目的有很直接，就是將成效歸納到訓練計畫，排除其他因此的影響。這裡提供的方式都可以達到這個目的。特別要指出的是，在做趨勢／預估分析時，Jack Philips的做法其實不太正確，milo會建議利用多變量的分析（其實不難，Excel就可以做，SAS、SPSS可提供更正確的結果）。還有，在觀察趨勢的時候，直接de-trend即可突顯出效果。

問：一般來說，ROI的計算相較於其他資產的投資報酬率都太高了，如何說老闆接受呢？（亞太教育訓練網Michael）

答：ROI的計算已經是相當保守且真實，如果要說服老闆接受，還可以在對所有的評估流程做說明討論，建立資料來源的可信度，如此，可以增進主管的接受度。

Milo說明：ROI的計算其實都過高，我覺得原因在於Isolation沒做好。一般來說，投資股票的年報酬率大概5-7%、固定資產大概10%、投資計畫大約有15-20%，但是相較於ROI動輒超過100%的投資報酬率，ROI的估計顯得過度樂觀。因此，是否能確認績效突破的來源，並用科學方法檢定，會是重要的。

寫在後面：第三次和Jack Philips做近距離接觸，對於ROI的觀念架構有清楚的了解。這次Jack Philips的研習課程相當的短，無法再深入和他做一些討論，相當可惜。對於這次課程的一些想法，milo會再有一篇後續的文章做說明，如果您有任何的想法，歡迎來信討論。