《『社區心理學實務』的「社區服務方案設計」》專輯(VIII)：「結果評估」的簡介和範例─「結果評估」的定義和實例、方案淨效應、「結果評估」的簡易指引、「結果評估」的工作表單和實務方法

 

作者：周才忠 (日期：2025/11/25)

       美國社會政策研究中心高級研究員-莉絲白·雪兒有句名言：「在以結果為導向的世界裡，德蕾莎修女能存活下來嗎？」。這句話道出了「結果評估」的困難度和重要性。因此，本文介紹的內容，包括「結果評估」的定義和實例、方案淨效應、「結果評估」的簡易指引、「結果評估」的工作表單和實務方法。整體而言，「評估」能夠幫助你確保始終走在正確的道路上，在預期的時間和方式到達終點線，並可以向其他人展示你的成就。但其中的「結果評估」或「影響評估」是最嚴苛的評估研究任務，亦為呈現方案真正成效的最後兩哩路~~

「結果評估」的定義和實例       

     「結果評估」(Outcome evaluation)，意指檢視方案對其參與者或接受者的“直接”、“短期”影響。它涉及「產出」與「結果」資料，「產出」資料為獲得活動過程完成的指標(如舉辦培訓課程場次、受過培訓的人數等)。「結果」資料則是衡量方案活動的“直接”影響，例如某藥物濫用預防方案在多大程度上提高了對藥物的瞭解和濫用藥物的知覺風險。其評估「結果」的證據，可能包括提升對毒品危險的認識，或增加抗拒使用毒品同儕壓力的社會技巧分數(Kloos et al., 2021)。

       任何基於「結果」的「評估」方法，都須涉及組別或條件的“比較”來對比結果的重要性。因此，尋求以下問題的答案(Schalock, 2001)：

• 我的方案在服務接受者中產生了什麼「結果」？
• 我的方案如何滿足日益增長的「責信」(accountability)要求？
• 我的方案是否達到整體目標(goals)和具體目標(objectives)？
• 我的方案有「效率」(efficient)嗎？
• 我的方案有「功效」(effective)嗎？
• X方案是否比Y方案產生更好的「結果」或「成果」(results)？
• 如何利用「結果」資訊來改變方案？

「結果」指標

      「結果」，是目標群體的狀態或方案預計會“改變”的社會情況。值得注意的兩件事，首先，「結果」是目標群體或社會情況的觀察特徵，而不是方案的特徵，「結果」的定義沒有直接提到方案行動。雖然提供給方案參與者的服務通常被描述為方案的「產出」，但此處定義的「結果」必須與這些產物或服務可能為參與者帶來的益處有關，而不僅僅是作為他們的收據。其次，正如「結果」定義的那樣，其概念不一定意味著方案目標實際上已經產生“改變”，或者方案導致服務接受者以任何方式“改變”。例如，自『反菸運動』以來，高中生的吸菸量可能沒有發生變化；在參與「減重方案」期間，可能沒有人達到減肥的效果。或者，可能會有“改變”，但與預期方向相反─青少年可能反而增加了吸菸量，方案參與者可能反而增加了體重。此外，無論發生什麼，都可能是方案的影響以外的其他因素造成的。因此，評估人員面臨的挑戰不僅要評定實際獲得的「結果」，還要評定「結果」的任何變化都歸因於方案本身的程度(Rossi et al., 2004)。

「意外後果」和「醫源性效應」

『總結性評估』和「結果評估」的關係

「短期結果」和「長期影響」的評估

 方案淨效應 

        所有方案的最終目標不僅僅是運作良好，而是帶來“改變”─以有益的方式影響一些問題或社會狀況。改變的狀態是方案的預期結果或產出。評估一個方案產生這些「結果」是評估者的核心職能。「結果」一詞有三種不同的用法：「結果水平」(Outcome level)─是某個時間點的狀態(例如，青少年的吸菸量)。「結果變化」(Outcome change)─是不同時間點「結果水平」之間的差異。「方案效果」(Program effect)─是指「結果變化」的一部分，可以唯一歸因於方案介入，而不是其他因素的影響(Rossi et al., 2004)。

       上圖繪製了「結果」測量隨時間而出現的水平。垂直軸表示與我們希望評估的方案相關的「結果變項」，它是方案目標群體的可測量特徵或狀況，可能受到方案操作的影響。這可能吸菸量、體重、入學前準備度或上述「結果」定義下的任何其他結果。橫軸表示時間，具體來說，從方案傳輸給目標群體“之前”到“之後”的一段“期間”。圖表中的實線顯示了一組接受方案服務的個人之平均「結果水平」。請注意，隨著時間的推移，它們的狀態不是被描繪成一條直線，而是被描繪成一條四處晃動的線。這表明，吸菸、入學前準備度、管理技能和其他此類「結果」維度預計不會保持不變─它們是由於許多自然原因和與該方案完成無關的情況而產生的變化。如果我們測量「結果變項」，可以確定目標群體相對於該變項有多高或有多低。這告訴我們「結果水平」，通常簡稱為「結果」。在目標群體接受方案服務後進行測量時，它告訴我們一些關於該群體的情況。如果所有青少年都在吸菸，我們可能會感到失望，相反，如果沒有人吸菸，我們可能會感到高興。然而，這些「結果水平」本身並不能告訴我們該方案的「有效性」，儘管它們可能會限制可能性。在大多數情況下，單靠「結果水平」無法被自信地解釋為方案成功或失敗的指標。如果我們在目標群體參與該方案前後來測量「結果」，我們可以描述的不僅僅是「結果水平」，我們還可以辨別「結果變化」。例如，孩子們在參加方案前後有表現出更大的入學前準備度，這是一個正向的變化。但僅從這些資訊來看，我們實際上並不知道學前班方案與孩子們的入學準備程度的提高有關。因為學齡前兒童正處於發育期，他們的認知和動作技能透過正常的成熟過程迅速提高。另外，其他因素也可能在起作用。上圖中的虛線顯示了如果方案參與者沒有接受方案服務，就會觀察到「結果變項」的軌跡。實線和虛線的比較表明，即使沒有接觸該方案，「結果」也會得到改善，但幅度不會那麼大。參與該方案所取得的「結果水平」與同一個人如果不參與而將達到的「結果水平」之間的差異是該方案產生的「結果變化」的一部分。這是「結果」的附加值或「淨收益」(Net gain)部分，如果沒有該方案，就不會發生。我們把這種增量稱為「方案效果」或者是「方案影響」。這是該方案唯一能誠實地獲得信譽的「結果」。評估方案的「結果」或「影響評估」是最嚴苛的評估研究任務(Rossi et al., 2004)。

「結果評估」的簡易指引 

一、一個方案的“直接”效果是什麼？

       方案評估的“基準線”，通常是方案的效果(Effects)。與效果相關的評估有兩種型式：「結果評估」著眼於短期效果，而「影響評估」(Impact assessment)則著眼於長期或最終效果。「結果評估」涉及衡量方案對服務接受者的直接或近側效果。它試圖確定該方案的直接效果，例如該方案增加毒品知識和知覺毒品風險的程度(Linney & Wandersman, 1991)。

       基本上，這一步涉及的是檢視方案評估在剛開始所設定的方案目標和預期結果，並尋找有關結果實現程度的證據。證據可能包括轉介人數的變化、參加活動的學生人數增加、增加對毒品危險性的宣傳、提高自尊測量的分數等(Linney & Wandersman, 1991)。

二、選擇結果效果的測量標準

       結果測量應該與目標密切相關。「結果評估」有幾個潛在的資訊來源(Linney & Wandersman, 1991)。

• 問卷：問卷是測量結果的常用指標。用於測量結果的特定問題必須謹慎選擇。測量時應該考慮的一些問題如下

1. 效度─「建構效度」(Construct validity)是指特定測量工具評估你希望衡量的概念或結果的程度。例如，一種X自尊量表在多大程度上實際評估了自尊。「預測效度」(Predictive validity)則是評估特定措施可以預測未來結果的程度。例如，一種X自尊量表是否預測了1年後的毒品使用？
2. 信度─「信度」(Reliability)是指測量工具的穩定性。如果你在體重計上秤了一下自己，然後5分鐘再秤，發現妳的體重增加了8磅(而且你自己沒有任何的改變)，你會說那個體重計不可靠和無用。同樣，如果一項測量措施沒有「信度」(不太穩定)，它也將毫無用處。

     對於標準化工具來說，「信度係數」(Reliability coefficient)是穩定性和一致性的指標。「信度係數」可以從0到1.0不等，其數值越高，測量就越穩定。一般來說，.6到.9之間的「信度係數」被認為是好的。如果一個常用的測量工具可用於你想要衡量的目標，並且它具有可接受的「信度」和「效度」，那麼通常最好使用該測量工具，而不是自己再去制定一個新的測量工具。

• 檔案資料：「檔案資料」(Archival data)是已經收集的資料，例如醫療記錄、學校成績和出勤記錄。
• 其他人的評定：出於某些目的，從其他來源獲取有關方案參與者的資訊可能是有用的，例如家長對孩子的評定或教師對學生的評定。但可能需要獲得當事人的許可才能進行評定，例如「知情同意」(Informed consent)。

「結果評估」的工作表單      

「過程評估」的實務方法       

※圖表來源：「Devi Partners」網站

「評估」，尤其以“結果”為導向

能夠幫助你確保始終走在正確的道路上

在預期的時間和方式到達終點線

並可以向其他人展示你的成就

🔍參考文獻：

• Kloos, B., Hill, J., Thomas, E., Case, A. D., Scott, V. C., & Wandersman, A. (2021). Community Psychology: Linking Individuals and Communities (4th Ed.). Washington, D.C.: American Psychological Association.
• Schalock, R. L. (2001). Outcome-Based Evaluation (2nd Ed.). New York: Kluwer Academic/ Plenum Publishers.
• Rossi, P. H., Lipsey, M. W., & Freeman, H. E. (2004). Evaluation: A systematic approach (7th ed.). Thousand Oaks, CA: Sage.
• Patton, M. Q. (1997). Utilization-focused evaluation: The new century text (3rd ed.). Sage Publications, Inc.
• 陳嘉鳳 (2004)。「淺談社區方案規劃與成效評估」。《社區心理衛生中心方案評估資源手冊》，行政院衛生署。
• Linney, J. A., & Wandersman, A. (1991). Prevention Plus III: Assessing Alcohol and Other Drug Prevention Programs at the School and Community Level. A Four-Step Guide to Useful Program Assessment. Alcohol, Drug Abuse, and Nental Health Administration(DHHP/PHS), Rockville, MD. Office for Substance Abuse Prevention.

👉延伸閱讀

• 《『社區心理學實務』的「社區服務方案設計」》專輯(VII)：「過程評估」的簡介和範例─定義和目的、如何監測方案進展？、「過程評估」的工作表單和實務方法  (2025.11.18)
• 《『社區心理學實務』的「社區服務方案設計」》專輯(VI)：「SMART+C」目標、成功策略和甘特圖─方案的有效原則和無效原因、方案的意外後果、總目標/目的vs.具體目標、設定「SMART+C」目標、發展成功的策略、規劃期程(製作「甘特圖」)  (2025.11.12)
• 《『社區心理學實務』的「社區服務方案設計」》專輯(V)：規劃社區的系統性介入措施─『因果邏輯模式』中的「方案規劃」、設計社區介入措施的簡易指引、「構形方程式」的組成部分和不同面向的方法清單  (2025.11.4)
• 《『社區心理學實務』的「社區服務方案設計」》專輯(IV)：社會生態的「小區域分析」方法─定義和目的、使用時機、適合對象、步驟流程和美國紐約相關範例  (2025.10.31)
• 《『社區心理學實務』的「社區服務方案設計」》專輯(III)：社區資源盤點與地圖繪製─「社區資源」的定義/類型/重要性/識別(盤點)方法、社區地圖繪製的步驟(地理資訊系統)和範例(Google Maps)  (2025.10.22)
• 《『社區心理學實務』的「社區服務方案設計」》專輯(II)：「社區」中的研究、『社區心理學』研究的要素和重要性、「行動研究」的源起和發展、「參與式行動研究」的定義/關鍵過程和範例(一)(二)  (2025.10.16)
• 《『社區心理學實務』的「社區服務方案設計」》專輯(I)：「參與式」的社區介入規劃方法  (2025.10.14)
• 《『社區科學』的過去．現在．未來》專輯(I)：近5000年的『科學』史摘述、「科學革命」的誕生與其影響  (2025.5.17)
• 《『社區科學』的過去．現在．未來》專輯(II)：『心理學』作為一門『科學』的歷史觀點  (2025.5.23)
• 《『社區科學』的過去．現在．未來》專輯(III)：「科學革命的結構」—『典範轉移』的定義、循環、影響和範例  (2025.5.26)
• 《『社區科學』的過去．現在．未來》專輯(IV)：「科學哲學」的定義與演進，以及對『社區科學』研究實踐的影響  (2025.6.3)
• 《『社區科學』的過去．現在．未來》專輯(V)：『社區科學』的定義、特徵，以及與『心理學』領域的交集  (2025.6.6)
• 《『社區科學』的過去．現在．未來》專輯(VI)：生態效度、心理政治效度、社區研究和行動的綜合生態模式  (2025.6.11)
• 《『社區科學』的過去．現在．未來》專輯(VII)：彌合『科學』與實踐之間的差距─『預防科學』新典範、「以社區為中心」模式、推廣和實施的「互動系統架構」(ISF)  (2025.6.15)
• 《『社區科學』的過去．現在．未來》專輯(VIII)：捕捉「社區」脈絡的『科學』方法─多層次模式(MLM)、地理資訊系統(GIS)、社會網絡分析(SNA)和集群分析(CA)  (2025.6.20)
• 《『社區科學』的過去．現在．未來》專輯(IX)：「方案評估」和『科學』之間的關係─「評估」的歷史演進、「方案評估」的定義/目的/哲學觀/邏輯、「結果」和「影響」評估的區別與實例、「獲得結果」(GTO)的責信  (2025.6.26)
• 《『社區科學』的過去．現在．未來》專輯(X)：『人工智慧』(AI)的「方案評估」應用─發展進程、定義與概念、『科學』觀點、SWOT分析、應用實例、倫理議題和未來方向  (2025.6.29)