（好文分享）
打破檢驗訓練成效ROI分析的迷思
作者佚名
近幾年來，在數位學習推廣單位的呼籲下，ROI分析(Return on Investment)已經成為訓練單位以及計畫審查單位相當重視的一項評鑑資料。雖然這是相當值得肯定的現象，然而根據我的經驗，許多訓練人員對ROI分析存有許多迷思，所以我特別將這些迷思提出來，一起討論分享。
一、 ROI 高，代表教材品質也高？其實，品質優異的教材，ROI不見得高，而品質普通的教材，卻可能也有不錯的ROI。舉例而言，某組織的員工們覺得主管的績效考核方式不公平而情緒低落，無心工作，結果主管採購了一門「熱愛工作」的數位課程，想要激勵士氣。可想而知，無論這門課程品質多好，士氣低落的問題還是無法解決，ROI 自然不高。相反地，如果某組織的業務人員因為不熟悉產品性能而導致業績不佳，結果主管就製作了一份清楚的產品型錄給業務人員隨身攜帶，由於對症下藥，即使該型錄無法通過教材品質認證，也會因為成本低，效益高，而產生很高的ROI。所以，要提昇訓練的ROI，最重要的是改善績效評估的決策品質，而不是教材品質。
二、 採購產品時，應該要瞭解該產品過去的ROI記錄作為選擇標準？由於計算ROI時，必須把大量的組織特質（使用人數，實施方式，現有離職率…）納入公式中，使得ROI 與組織特質高度相關。同樣的教材，運用在不同組織，會得到截然不同的結果。一般而言，當課程使用人數多，或者所針對的績效問題改善空間幅度大時，較容易得到令人滿意的ROI。由於每個組織的特性不一，在沒有清楚瞭解ROI 的計算過程以前，不宜以別組織的計算成果作為選擇產品的標準。
三、 分析ROI的目的，是要算出一個精準的數字用來代表訓練成效？投資大眾習慣以「每股獲利(EPS)」來評估企業經營成效，並據以作為選購股票的參考指標。然而EPS這個數字之所以有價值，是因為企業背後有一套法律所規範的會計流程在持續運作，再加上會計師的簽證稽核，才讓我們對這個數字產生信賴。對訓練人員而言，我們雖然也希望算出精準的ROI，但由於訓練效益往往是無形的，所以必須以「推估」的方式，才能將無形效益換算成貨幣價值，這個推估的過程就是很大的誤差來源。而另一方面，ROI的計算方式至今尚未有一套共用的規範，一旦選用的參數不同，結果也差之千里。這些種種限制，使得訓練專案的ROI數值，其參考價值無法媲美「每股盈餘」這種數值。面對這種困境，訓練人員應該退一步，不要投入過多心力在「計算最終數值」，而應該更關心ROI分析時「原始數據的正確性」、「推估邏輯的合理性」、「分析過程的一致性」以及「專案之間的比較性」。而當有機會呈報資料給決策主管時，不要只呈報結果，而應該把這些過程中所使用的參數與公式一起列出來，才能讓數據有足夠的說服力。
四、 ROI 分析做得愈頻繁，代表訓練做得愈好？偶爾會聽到訓練人員自豪地說「我們單位的訓練課程都有做到第五級評鑑的ROI分析」，這句話好像把Kirkpatrick的評鑑模型當作爬樓梯一樣，爬得越高代表越厲害。其實「有沒有計算ROI」不是那麼重要，重要的是「有沒有善用ROI的分析技術作為決策參考」。當訓練單位聲稱某課程產生「高達600％的ROI」可是第二年卻沒有加碼投資這項課程時，這結果就令人玩味了。一般投資大眾，如果在某項投資獲得600％的ROI (其實120％的ROI 就已經相當高了)，一定會加碼投資，如果訓練單位算出這麼高的ROI 卻不願投資，那就代表這個數字有問題，雖然「做出ROI」了，可是卻「無法成為決策的參考」，這就失去分析ROI 的意義了。
雖然分析ROI 有如此多的挑戰，我還是認為這是訓練人員必須堅持走下去的路，只是在前進的路途中，我有幾個建議：
一、 ROI 要做就要將所有的訓練專案一起分析，不要只分析一兩個專案：人類對於數字的認知，經常必須透過比較才能產生意義。舉例而言，某個學生數學考80分，是好還是不好？其實不知道，只有在先瞭解全班其他同學的分數之後，我們才能幫這個分數找到定位。如果全班平均是60分，那80分顯然相當高，如果全班平均90分，那80分顯然有待加強了。訓練專案也是如此，一個得到「150％ ROI」的訓練專案，是好還是不好？在沒有比較別的訓練專案的ROI時，我們無從判斷。
二、 ROI 的評鑑流程與評鑑項目必須標準化：一旦我們決定把所有訓練專案都一起做ROI分析，就要把評鑑的流程與項目都保持公平一致，才能讓結果有價值。如果每個專案採用的計算方式各自為政，就無從比較其結果了。保持評鑑流程與項目的一致性，還有個特別的優點：它讓「推估」過程所產生的誤差也保持一致，所以當專案之間進行比較時，這些誤差可以互相抵銷，而讓真實的價值自然浮現。舉例而言，如果你幫一個學生的成績加了10分，這個學生的排名會往前移動，這是不公平的，可是如果你幫全班的學生都加了10分，他的排名是不會移動的，就變得公平了。透過標準化，我們可以減少誤差所造成的影響，讓結果更令人信服。
三、 把ROI 分析當作是一種「訓練中心提昇效率的自我診斷工具」：當訓練中心把所有專案都透過一致的評鑑流程與項目加以比較分析時，就會有足夠的資料，來診斷出每個專案的弱點或者強項，作為未來改善的依據或者決策的參考。先前我提過，不同組織之間的ROI是難以比較的，但如果相同組織內的訓練成效ROI, 由於情境接近，比較的結果就更有說服力。在某些情況下，即使同一個組織，不同類型的訓練，其ROI 也難以比較，這時候如果我們把焦點聚焦在「同組織同類型的訓練專案」，一樣可以獲得許多寶貴的資訊，做為決策與改進的參考。
四、 善用工具：要「建立標準評鑑流程與項目」以及「比較專案間的各項指標」並不需要啟動一個龐大的計畫，而是可以利用Excel 或者Access所提供的資料管理以及資料分析功能來完成。只要策略清楚，流程正確，資料翔實，持之以恆，假以時日，就會累積足夠的數據，成為評鑑新專案時最重要的參考資料。ROI 的分析就會越來越輕鬆，也會越來越精準！
打破檢驗訓練成效ROI分析的迷思
作者佚名
近幾年來，在數位學習推廣單位的呼籲下，ROI分析(Return on Investment)已經成為訓練單位以及計畫審查單位相當重視的一項評鑑資料。雖然這是相當值得肯定的現象，然而根據我的經驗，許多訓練人員對ROI分析存有許多迷思，所以我特別將這些迷思提出來，一起討論分享。
一、 ROI 高，代表教材品質也高？其實，品質優異的教材，ROI不見得高，而品質普通的教材，卻可能也有不錯的ROI。舉例而言，某組織的員工們覺得主管的績效考核方式不公平而情緒低落，無心工作，結果主管採購了一門「熱愛工作」的數位課程，想要激勵士氣。可想而知，無論這門課程品質多好，士氣低落的問題還是無法解決，ROI 自然不高。相反地，如果某組織的業務人員因為不熟悉產品性能而導致業績不佳，結果主管就製作了一份清楚的產品型錄給業務人員隨身攜帶，由於對症下藥，即使該型錄無法通過教材品質認證，也會因為成本低，效益高，而產生很高的ROI。所以，要提昇訓練的ROI，最重要的是改善績效評估的決策品質，而不是教材品質。
二、 採購產品時，應該要瞭解該產品過去的ROI記錄作為選擇標準？由於計算ROI時，必須把大量的組織特質（使用人數，實施方式，現有離職率…）納入公式中，使得ROI 與組織特質高度相關。同樣的教材，運用在不同組織，會得到截然不同的結果。一般而言，當課程使用人數多，或者所針對的績效問題改善空間幅度大時，較容易得到令人滿意的ROI。由於每個組織的特性不一，在沒有清楚瞭解ROI 的計算過程以前，不宜以別組織的計算成果作為選擇產品的標準。
三、 分析ROI的目的，是要算出一個精準的數字用來代表訓練成效？投資大眾習慣以「每股獲利(EPS)」來評估企業經營成效，並據以作為選購股票的參考指標。然而EPS這個數字之所以有價值，是因為企業背後有一套法律所規範的會計流程在持續運作，再加上會計師的簽證稽核，才讓我們對這個數字產生信賴。對訓練人員而言，我們雖然也希望算出精準的ROI，但由於訓練效益往往是無形的，所以必須以「推估」的方式，才能將無形效益換算成貨幣價值，這個推估的過程就是很大的誤差來源。而另一方面，ROI的計算方式至今尚未有一套共用的規範，一旦選用的參數不同，結果也差之千里。這些種種限制，使得訓練專案的ROI數值，其參考價值無法媲美「每股盈餘」這種數值。面對這種困境，訓練人員應該退一步，不要投入過多心力在「計算最終數值」，而應該更關心ROI分析時「原始數據的正確性」、「推估邏輯的合理性」、「分析過程的一致性」以及「專案之間的比較性」。而當有機會呈報資料給決策主管時，不要只呈報結果，而應該把這些過程中所使用的參數與公式一起列出來，才能讓數據有足夠的說服力。
四、 ROI 分析做得愈頻繁，代表訓練做得愈好？偶爾會聽到訓練人員自豪地說「我們單位的訓練課程都有做到第五級評鑑的ROI分析」，這句話好像把Kirkpatrick的評鑑模型當作爬樓梯一樣，爬得越高代表越厲害。其實「有沒有計算ROI」不是那麼重要，重要的是「有沒有善用ROI的分析技術作為決策參考」。當訓練單位聲稱某課程產生「高達600％的ROI」可是第二年卻沒有加碼投資這項課程時，這結果就令人玩味了。一般投資大眾，如果在某項投資獲得600％的ROI (其實120％的ROI 就已經相當高了)，一定會加碼投資，如果訓練單位算出這麼高的ROI 卻不願投資，那就代表這個數字有問題，雖然「做出ROI」了，可是卻「無法成為決策的參考」，這就失去分析ROI 的意義了。
雖然分析ROI 有如此多的挑戰，我還是認為這是訓練人員必須堅持走下去的路，只是在前進的路途中，我有幾個建議：
一、 ROI 要做就要將所有的訓練專案一起分析，不要只分析一兩個專案：人類對於數字的認知，經常必須透過比較才能產生意義。舉例而言，某個學生數學考80分，是好還是不好？其實不知道，只有在先瞭解全班其他同學的分數之後，我們才能幫這個分數找到定位。如果全班平均是60分，那80分顯然相當高，如果全班平均90分，那80分顯然有待加強了。訓練專案也是如此，一個得到「150％ ROI」的訓練專案，是好還是不好？在沒有比較別的訓練專案的ROI時，我們無從判斷。
二、 ROI 的評鑑流程與評鑑項目必須標準化：一旦我們決定把所有訓練專案都一起做ROI分析，就要把評鑑的流程與項目都保持公平一致，才能讓結果有價值。如果每個專案採用的計算方式各自為政，就無從比較其結果了。保持評鑑流程與項目的一致性，還有個特別的優點：它讓「推估」過程所產生的誤差也保持一致，所以當專案之間進行比較時，這些誤差可以互相抵銷，而讓真實的價值自然浮現。舉例而言，如果你幫一個學生的成績加了10分，這個學生的排名會往前移動，這是不公平的，可是如果你幫全班的學生都加了10分，他的排名是不會移動的，就變得公平了。透過標準化，我們可以減少誤差所造成的影響，讓結果更令人信服。
三、 把ROI 分析當作是一種「訓練中心提昇效率的自我診斷工具」：當訓練中心把所有專案都透過一致的評鑑流程與項目加以比較分析時，就會有足夠的資料，來診斷出每個專案的弱點或者強項，作為未來改善的依據或者決策的參考。先前我提過，不同組織之間的ROI是難以比較的，但如果相同組織內的訓練成效ROI, 由於情境接近，比較的結果就更有說服力。在某些情況下，即使同一個組織，不同類型的訓練，其ROI 也難以比較，這時候如果我們把焦點聚焦在「同組織同類型的訓練專案」，一樣可以獲得許多寶貴的資訊，做為決策與改進的參考。
四、 善用工具：要「建立標準評鑑流程與項目」以及「比較專案間的各項指標」並不需要啟動一個龐大的計畫，而是可以利用Excel 或者Access所提供的資料管理以及資料分析功能來完成。只要策略清楚，流程正確，資料翔實，持之以恆，假以時日，就會累積足夠的數據，成為評鑑新專案時最重要的參考資料。ROI 的分析就會越來越輕鬆，也會越來越精準！
全站熱搜
留言列表
