小騾向前看

今天，是小騾工作滿一年的日子，好像沒人想到這件事，小騾也是在洗澡的時候，猛然發現今天是八月十五日，工作正式滿一年了。說也好玩，今天也是小騾的老闆離職的第一天（該不會是小騾把他氣走的吧）、同時也是小騾的女友被老闆嫁禍的一天、更是第一次做接駁車去林口，然後被淋的溼答答的一天。嘿嘿，人生就是這樣有趣，每天都是起起伏伏的，端看你如何調適。It's a life, C'est La Vie!

一年來，小騾在這個工作上的學習超過自己的想像，好多好多。舉個例子來說，小騾第一次去美國採訪一個研討會，當了十天的特派記者。還有，小騾第一次自己開車從建國北路交流道去新竹、第一次提案、第一次寫文案、第一次辦研討會、第一次吃蔥花餅、第一次看IMAX、第一次和女友吵架（算是這一年來的第一次啦）、第一次見到許久不見的老朋友，很多耶，數不完。

當然，你想問，小騾今年的目標有達成嗎？小騾會這樣回答你：能達成，就不是太好的目標了。小騾在台北工作，認識了很多的好朋友，但卻也減少了和家人的互動，小騾希望能在其中取得一個平衡。小騾為下一年許下的願望和去年相同：吃的下、睡得著、笑得出來。

訓練投資報酬率？問題出在哪裡？（上集）

作為企業教育訓練的專業人員（或許比較正確的說法是學習與發展的促成者），最讓我們心驚膽跳的，莫過於老闆的一句話：訓練成效在那？辦訓練的效果在哪裡？針對這個尖銳的問題，積極主動的做法是將訓練成效化為可衡量的商業數據，大聲地告訴老闆：在這個訓練計劃後，我們的客戶回流率達到90%，比計畫實施前提升了一倍，預計第四季的銷售數字會因此提昇70%。ROI方法論即是以此方向出發，連結訓練與商業績效，使訓練專業人員展現成為企業策略夥伴的價值。

在進入本文的內容前，milo想先提一個情境，讓大家思考一下訓練、訓練成效、商業績效等的連結。很久以前，milo和老闆去參加一個餐會，參加的都是本公司的潛在客戶，因此，milo的老闆（暫且稱呼他為Sam好了）說：milo，你去跟Mica認識一下好了，看看她最近有沒有訓練需求。不過，你要注意喔，Mica是在美國出生的，因此她只會說英文。經過了30秒，milo回到老闆面前，他說：Sam，有件事很糟糕，我不會英文會話耶！我聽不懂她所說的內容，也無法回應她的詢問。我想，我必須去學商業英文會話。此時，Sam說話了：或許學商業英文會話應該會使你們的溝通比較順暢，好，那你就去學吧，我們的目標是在下次餐會時（三個月後），你用英文和她溝通，介紹公司的產品和服務，並且詢問她的興趣與嗜好，再安排一次商業會面。

我們來做一個簡單的整理，這個情境透露給我們的訊息：

訓練對象：Milo
訓練目標：一、以英文向Mica介紹公司的產品與服務
二、詢問Mica的興趣與嗜好
三、安排一次商業拜訪
訓練時間：三個月

接著，milo擬定了幾個策略以達成這個訓練目標：一、找一個英文家教，以一對一的方式練習商業英文會話。二、配合公司的大小會議，以英文簡報公司產品與服務，並由同事給予評估與建議。三、每天聽ICRT午間新聞，練習聽力。

經過三個月的魔鬼訓練，餐會的時刻終於來臨，milo在用餐時向Mica說明的公司的產品與服務，並知道她的興趣是看棒球和收集汽車模型。最後，milo並安排了下星期二的一次商業拜訪。Sam很開心地拍拍milo的肩膀說：好樣的，我們達成了預定的目標，並且有了跟客戶深入討論的機會。接下來，我想要複製你的學習模式，你可不可以詳細敘述你的訓練流程，並計算訓練ROI給我參考？下星期五跟我開會說明吧。

好了，大家應該對這個情境有些認識了，milo想利用這情境，探討幾個問題。一、這樣的訓練活動，如何與訓練成效四階段做連結？二、這樣的連結，在實務上的意義又為何？

一，Kirkpatrick的四階段評估是我們熟悉的架構，他將訓練成效分為對訓練活動的反應、對內容的理解、對行為的影響、以及最後，對商業績效的衡量（Philips的ROI則是給於這個架構，實際操作與衡量的內容）。對於milo的商業英文會話訓練活動，要衡量ROI前，我們先要界定這個訓練活動的評估層級，如下圖：

目標 評估層級
*既定的ROI目標 *投資報酬率：ROI
順利成交，達成業績 商業績效：和客戶溝通需求，順利銷售
在餐會中使用英文溝通 行為：能在日常生活中運用自如
充分理解某一程度的英文會話 學習：對商業英文會話內容的理解
對於訓練活動的過程滿意 反應：對訓練活動的反應

*Philips在實際的操作過程中，又加上了另一個層級，也就是ROI的衡量

但是，通常訓練目標無法以這樣的方式制定，我們無法非常細節地訂定每一層級的行為表現與衡量指標（尤其是在訓練課程目標的訂定上（注意，不是訓練活動或計劃，單指訓練課程）），這個情境的描述是相當的，如果有更複雜的訓練活動，我們要花更多的時間在整個計畫的設計上。或許這也是Philips建議只有5%的訓練活動，需要做到ROI的評估層級，的原因之一。

（milo按：請注意，有一個觀念會讓第一次接觸ROI方法論的朋友混肴，也就是：ROI是一個衡量層級還是一個衡量過程？milo在這裡要特別說明，ROI是一個簡稱，說明這整套方法論。因此，當我們提及ROI Approach／Method，絕大多數指的是整個訓練成效的衡量架構，包含事前的規劃與工具的應用，事後資料分析與計算。如果僅說ROI則是投資報酬率的計算，只是一個數字（百分比）。）

好了，到此，我們知道，訓練活動與評估層級的聯結，是透過目標的設定。一但目標設定清楚，衡量的架構就浮現了（milo按，或許，您已經明白，訓練目標的設定才是關鍵，而非衡量的架構，因為，您只要定義了訓練目標，也就間接地定義了評估層級）。另外，我們可以直接衡量某層級的訓練成效，不需要完全利用四個階段。

二，如果大家清楚以上的說明，我們接著要討論，這樣的連結方式，在實務上的意義為何？milo的答案很簡單，就是：從問題出發。當我們在設計訓練活動時，將訓練目標分為兩個層級，一個是Terminal Objective，裡所指的是解決問題的方向，例如能利用英語交談，並與客戶安排商業拜訪；另一個則是Enable Objective，例如，在學習後要能掌握英語會話的關鍵。這樣設計的概念很簡單，在於目標與策略。如果您在實務上觀察到的是，無法應用英文帶進商業機會，那麼，您的目標就設定為：使用英語和客戶溝通，同時理解客戶需求，提昇業績數字。至於，策略的部份就可以有不同的做法，例如，以英語介紹公司產品及服務、以英語談論客戶的興趣與嗜好，以深耕客戶關係等。

換句話說，ROI Approach的核心在於各層級評估與訓練目標的對應。至於，如何計算ROI數字、如何確認效果、如何確認影響因子，都是技術層面的考量，其實會因每個企業的文化、資料收集等方式有所變動。ROI Approach是評估訓練成效的方式之一，大家不妨把它當作標竿做法，然後自依自己的需要做調整。好了，先寫到這裡。在下集的部份，我們將會探討到ROI Approach的工具應用。

ROI -- Jack Philips 8/3 訓練成效評估研習

Jack Philips現任ROI Institute負責人，也是ROI評量方法的創始者。這次在研討會中，他深入淺出地介紹了ROI的邏輯架構與實務作手法。重點摘要如下：

一、ROI的邏輯架構相當清楚，要衡量的是對於人力資本的投資報酬率。以往在訓練課程的衡量著重於投入與產出的說明，ROI的做法則是以結果導向，專注於衡量投資報酬率，以提供組織在訓練投資的參考。

二、ROI並不是訓練成效評估的唯一方法，有許多的做法可以運用，但是有幾考量讓我們將ROI列為首選：1.衡量人力資本投入的評估方式慢慢地改變，ROI是，而ROI的做法剛好可以因應這樣的改變。2.ROI可提供我們人力資本投資決策的參考，我們也可以和一般資本投資做比較，衡量投資報酬率。3.ROI可提供經營階層衡量人力資本價值的依據。

三、ROI是針對一個訓練機化的整體評估，從事前資料類型的定義與收集。一直到事後的評估計算，以系統化且一致的做法，ROI可以呈現真實的訓練成效。並且將四階層的訓練成效評估架構落實到實務執行層面。

四、在ROI的做法中，有幾個關鍵點如下：1.定義要收集的資料類型。這個相當重要的，因為這牽涉到我們要衡量的標準以及層級，如果能明確定義，就可以明確地計算ROI。2.計算ROI時，我們有一些準則需要遵守，其中有一個是保守原則。保守原則指的是我們在做計算時，提供的數據要準確、可靠。不真實或來源不清楚的資料盡量不用，讓ROI的計算能更具說服力。

五、ROI的步驟中，有一步是Isolation，中文是應該是“確認影響因子”。我們衡量成效的時候，因為外在環境的改變迅速，我們無法確定績效的提升，是否真的是因為訓練計畫的實施而產生的。因而需要去除不相關的影響因子，突顯出訓練計畫的效果。主要的做法有幾個，其中包含對照組設置、時間序列資料運用、專家意見等等工具。

六、ROI的架構並不複雜，但在運用之前，必須要有清楚的目標。應該有一個超越訓練目標的方向，偵測組織的需要，明確訓練架構，如此ROI才能達到好的效果。

接下來，milo透過學員與Jack Philips的問答，將可能的關鍵問題做說明：

問：如何衡量人員參加訓練的成本，光是以薪資作衡量似乎不夠完整，沒有考慮到其他的機會成本？（台積電Susan）

答：學員參與培訓的成本的確滿難評估的，除了訓練費用、訓練期間的薪資成本等，應該還需考慮其他的成本。有幾個建議：1.以薪資作考量，直接反應員工參加訓練對公司生產力的影響。2.以替代方案衡量。例如，要花多少錢才能找一個人來做同樣的工作。如果不參加訓練，其它方式的成本又是多少。3.機會成本不易衡量，不過還是可將所有可能發生的成本計算進去。

Milo的說明：在這個問題中，Jack Philips的說明不不是很清楚（可能是milo沒充分理解）。不過就這個問題，milo的想法還滿簡單的。一、假設公司提供給員工的薪資是具有競爭力的，亦即，在市場上能夠以此薪資雇用到頂尖的人才，其實這個薪資就包含了員工所有可能的生產力預估，不需要再考量其他的機會成本，例如，他會因為呆在公司，而開發出新的專利。反而是，薪資已經預估他會開發專利的機率了。二、從另一個角度看，大家對於機會成本的概念還有一點點誤解。讓milo幫大家說明，定義上，機會成本是你所放棄的最高價值。舉個例子來說，當公司決定派一個人去受訓，機會成本就是將這個人留在公司的生產力。而生產力的最佳逼近其實就是薪資水準，因此，milo認為以公司投資在人力資源的角度來看，要做ROI分析時，其實用薪資逼近即可。

問：請問是否有任何相關的人力資本投資的參考書？（應材Jennifer）

答：AMACOM近期出版了一本叫做：Investing in your company’s human capital。應該是滿適合的參考教材。此外，一些探討創新與創意的書籍，也會提供相關的概念。

Milo的說明：AMACOM是AMA（美國管理協會）的出版機構，可以透過下列網址收尋：http://www.thattechnicalbookstore.com/b0814408532.htm

問：在美國平均的訓練ROI大概是多少？（亞太教育訓練網Michael）

答：這個問題相當難回答。不過可以參考已經發表的個案討論，應該可以給你們一些概念。不過需要強調的是，平均值在ROI不太具有意義，因為ROI是針對不同企業的不同情況做討論，平均值不能反映整體業界的平均做法。

Milo說明：這裡的問題主要是想要釐清標竿企業的ROI水準，因為一般來說，ROI的計算都是針對個案，我們並無法說服主管其他實務做法的標準，因此需要討論平均值。不過，因為ROI通常都是以個案為主，不同公司的評估標準不一致，平均值並不具參考價值。

問：Isolation的做法為何？（彰化師範大學洪先生）

答：Isolation的方法有好幾個，通常應用有三個，第一是對照組的設置，第二是趨勢／預估與分析，第三是專家估計。

Milo說明：Isolation的目的有很直接，就是將成效歸納到訓練計畫，排除其他因此的影響。這裡提供的方式都可以達到這個目的。特別要指出的是，在做趨勢／預估分析時，Jack Philips的做法其實不太正確，milo會建議利用多變量的分析（其實不難，Excel就可以做，SAS、SPSS可提供更正確的結果）。還有，在觀察趨勢的時候，直接de-trend即可突顯出效果。

問：一般來說，ROI的計算相較於其他資產的投資報酬率都太高了，如何說老闆接受呢？（亞太教育訓練網Michael）

答：ROI的計算已經是相當保守且真實，如果要說服老闆接受，還可以在對所有的評估流程做說明討論，建立資料來源的可信度，如此，可以增進主管的接受度。

Milo說明：ROI的計算其實都過高，我覺得原因在於Isolation沒做好。一般來說，投資股票的年報酬率大概5-7%、固定資產大概10%、投資計畫大約有15-20%，但是相較於ROI動輒超過100%的投資報酬率，ROI的估計顯得過度樂觀。因此，是否能確認績效突破的來源，並用科學方法檢定，會是重要的。

寫在後面：第三次和Jack Philips做近距離接觸，對於ROI的觀念架構有清楚的了解。這次Jack Philips的研習課程相當的短，無法再深入和他做一些討論，相當可惜。對於這次課程的一些想法，milo會再有一篇後續的文章做說明，如果您有任何的想法，歡迎來信討論。