作者：周才忠 (日期：2025/11/18)
「過程評估」是最常見的『方案評估』形式，它是對方案“執行”部分的評定，並聚焦於探究方案的“活動”，以找出哪些效果好，哪些效果不好，作為方案持續改進過程的依據。因此，不能只做「過程評估」，或將「過程評估」誤認可以用來呈現方案的「結果」。因此，本文介紹的內容包括「過程評估」的定義和目的、如何監測方案進展？、「過程評估」的工作表單和實務方法等。對服務對象的「責信」──這種追求是服務的最底線要求。因為自己想要知道提供的服務是不是有效？有什麼可以改進與發展的部分？──這種追求比較有可能慢慢建立起專業的能力與自主性(陳嘉鳳，2004)。
一個古代亞洲故事的現代版本(改編自Shah, 1964)揭示了尋找「評估」用途的挑戰(Patton, 1997)：
一位男子發現他的鄰居跪在路燈下，似乎在找東西
“朋友，你丟了什麼？”
跪著的鄰居回答：“我的鑰匙”
男子幫他找了幾分鐘後，問道：“你丟在哪裡了？”
他的朋友回答：“在那個黑暗的牧場上”
“我的天哪！那你為什麼還要來這裡找？”
“因為這裡光線更亮”
「過程評估」的定義
「過程評估」(Process evaluation)，用於記錄和監測方案的“執行”情況。它涉及檢視方案的“活動”，並估定這些活動如何付諸實踐的各個方面。「過程評估」通常以下列廣泛問題為指導(Kloos et al., 2021)：
- 該方案的哪些方面運作良好？
- 該方案的哪些方面不起作用或效果較差？
回答這些問題包括詢問誰應該和誰一起做什麼，以及何時完成。它還涉及“執行”議題，例如(Kloos et al., 2021)：
- 保真度(Fidelity)─該方案的預期和實際“活動”是什麼？哪些因素(有意或無意)導致了偏離預期“活動”？
- 方案覆蓋範圍(Program reach)─在預定的服務對象群體中有多少人實際參加此項方案？
- 參與者的響應(Participant responsiveness)─參與者的投入程度如何？
- 品質(Quality)─該方案的組成部分實施得有多好？
Rossi等學者(2004)亦詳細列出「過程評估」需要回答的問題，如下所示：
- 有多少人正在接受服務？
- 那些接受服務的人是預期的目標對象嗎？
- 他們是否獲得了適當的數量、形式和品質的服務？
- 在目標群體中是否有未接受服務的對象，或次群體在接受服務的人中哪些是代表性不足？
- 目標群體的成員是否瞭解該方案？
- 必要的方案功能是否得到充分執行？
- 對於必須履行的職能來說，人員數量和能力(勝任性)是否足夠？
- 該方案是否組織得井井有條？人員彼此合作得好嗎？
- 該方案是否跟必須與其互動的其他方案和機構進行有效的協調？
- 資源、設備和經費是否足以支援重要的方案功能？
- 資源運用是否發揮應有的「效率」(efficient)和「效果」(effective)？
- 該方案是否符合其理事會、資助機構和上級行政部門的要求？
- 該方案是否符合適用的專業和法律標準？
- 一些方案的站點或區域的效能是否明顯優於其他區域或差？
- 參與者對方案人員和方案的互動滿意嗎？
- 參與者對他們獲得的服務滿意嗎？
- 參與者在接受服務後是否採取適當的後續行為？
「過程評估」的量化與質化的方式，包括服務人數或人次統計、使用率、問題或資源分析、會議或團體的記錄、個案晤談記錄、成本分析、工作日誌等(Lewis et al., 2003; Rudkin, 2003; Gladding & Newsome, 2004; Cyrus, 2010)。
「過程評估」的目的
「過程評估」有幾個目的：首先，監測方案“活動”有助於組織方案工作。它確保了方案的所有部分都按計劃進行。它還有助於方案工作人員明智地分配資源。例如，當多個“活動”和團體需要資源時，不會將方案的大部分資金只花在一個“活動”或目標群體上。其次，「過程評估」中的資訊提供了「責信」(Accountability)，以確保方案工作人員正在“執行”一組商定好的“活動”。「責信」可能由管理者、資助者、董事會和其他利害關係人承擔。第三，「過程評估」可以幫助方案工作人員決定是否可以評定方案的影響。例如，如果一個方案只存在了很短的時間，而你只“執行”了七個“活動”方案中的第三個“活動”，那麼評估方案的「結果」還為時過早。第四，有時情況會發生變化，計劃的事情並不是實際發生的事情。「過程評估」有助於掌握此類變化。例如，在計劃“活動”之前、期間和之後回答「過程評估」的問題，記錄了實際發生的事情。最後，在對「結果」和「影響」進行「總結性評估」(Summative evaluation)後，「過程評估」可以提供有關方案為什麼有效或無效的資訊。透過提供有關做了什麼和範圍可及到誰的資訊，方案規劃者可以更好地瞭解一個方案取得特定「結果」的原因。「過程評估」資訊還可以為未來的改進提供見解，並為規劃類似方案的其他人分享實用技巧提供洞察(Kloos et al., 2021)。
沒有功勞還有苦勞？
然而，如果只做「過程評估」，紀錄例如服務對象的人口特質、服務的人數/人次、服務的內容與服務的問題等等。這種評估資料能說明的只是工作人員有多努力的在工作。而「服務對象覺得很有幫助？」(*滿意度的調查)。這種評估資料能說明的是被服務的對象主觀上喜不喜歡所提供的服務，但是並不等於是不是真的有幫助。不過正面的結果對於提升工作人員的士氣來說，還是很有幫助的。更重要的是，「到底有沒有真的發生改變？」，這需要「結果評估」(Outcome evaluation)。至於該評估什麼結果以顯示方案的有效性，則是在做方案評估之前就應該要先決定的。也就是說「結果評估」的資料想要說明的是方案是否達成了預期的目標。所以真正的方案評估絕對不只是做方案評估而已，其實必須是“規劃 → 執行 → 評估”串聯在一起的永續工作(陳嘉鳳，2004)。
如何監測方案進展？
一、監測你的方案進展意味著什麼？
監測你的社區倡議可以幫助你根據結果權衡你的行動，看看你是否實現了社區和你的倡議的目標。從某種意義上說，監測數據可以幫助你了解該方案的運作情況。也就是說，監測可以幫助找出該方案的行動在哪些方面沒有產生預期的效果。此外，「監測系統」可以幫助你(Whitman & Wadud, n.d.)：
- 更好地理解該倡議。
- 就該倡議的方案做出決定。
- 提高對成就的識別。
- 招募支持。
- 確保資金(經費)的安全性。
儘管「監測系統」聽起來很可怕，但你可能已經觀察過以各種方式進行監測的範例。例如，政治候選人透過進行民意調查和分析結果來監測其競選活動的狀況；教師透過在學年開始和結束時進行測試來監控學生的進步，看看他們是否掌握了長除法的秘訣；你可以透過追蹤每月的增加和減少來監測你的水電費。監測有廣泛的應用。作為社區倡議的成員，監測意味著追蹤該倡議的重大事件和成就的一種方式。
過程的衡量
「過程評估」是在方案期間發生的活動，可幫助你確定事情的進展。如以下所示(Whitman & Wadud, n.d.)：
- 參與的成員：參加的人數/人次和型別、出席頻率、成員流失率等。例如，在該倡議的最後一次大會上，有17人出席了會議。在這些人中，有10人是正式成員，7人是第一次參加會議。
- 計劃產出：為該倡議做出貢獻的書面目標、章程或委員會。例如，聯盟的行動計畫已獲得聯盟批准，並將立即實施。
- 媒體報導：廣播、電視、平面媒體。例如，當地FM廣播電台播放的幾個描述你方案項目之一的五分鐘廣播節目。
- 財務資源：補助金或捐款。財務資源還可以包括「實體」服務，例如個人或企業可能提供其免費廣告或產品，而不是金錢。例如，每盤50美元的午餐收到了8000美元，該午餐是為當地戒毒和酗酒活動籌集資金而舉辦的。
- 最終提供的服務：課程、方案、研討會、出版物或該倡議為社區提供的其他服務或交流。例如，為兒童照護提供者舉辦營養教育工作坊。
- 社區行動：為鼓勵社區改變而採取的行動。例如，商家被要求展示標誌，說明向未成年人出售酒類的處罰以及正確識別身份的必要性。
二、為什麼你需要監測你的方案進展？
現在你可能會想，“你希望我收集有關我們倡議的資訊。但我要如何處理所有這些數字和評論？為什麼這對我們團隊的成功很重要？”，不用擔心，你透過使用「監測系統」收集的數據可以透過多種方式幫助團隊(Whitman & Wadud, n.d.)。
- 數據可以告訴你倡議的重點在哪裡。例如，「監測系統」可能會顯示你的倡議專注於服務，而不是變革。如果改變是你想要的，「監測系統」將幫助你儘早發現這一點。
- 數據可以指出社區中的哪些群體受到你的倡議的影響。例如，你的倡議是否給學校帶來了很大的變革，但對刑事司法系統的變革卻很小？這是你和社區想要和需要的嗎？誰是目標？有了「監測系統」的結果，你或許能夠更好地回答這些問題。
- 數據可以揭示哪些策略正在被解決。「監測系統」可以確定你的倡議是否在提供資訊而無需獲得同儕支援或其他資源。
- 員工可以使用數據來實現各種結果。工作人員和領導階層可以利用這些數據來提高社區對該倡議活動和成就的認識，爭取社區支持並確保財務資源。
三、你如何監控方案進展？
在開始分析數據之前，你首先必須收集資料。以下是建立收集資料所需的觀察「監測系統」的指南(Whitman & Wadud, n.d.)：
(一)透過定期填寫事件日誌和其他表格來收集數據
「事件日誌」(Event logs)是該倡議主要活動的書面記錄。它們還可以用於記錄該倡議給社區帶來的任何改變。例如與該倡議的目標和使命相關的新方案、政策或實務。「事件日誌」可能包含重要訊息，例如：
- 事件發生的月份/日期/年份。
- 對事件本身的描述，包括：
- 為什麼它很重要？
- 結果發生了什麼？
- 對事件細節的描述，包括：
- 誰參與其中？
- 哪些組織貢獻了人員和資源？
- 這與哪個社區部門或目標有關？
- 如果這是第一次發生這種情況。
(二)讓幾個人(例如專案工作人員和活躍成員)完成日誌
填寫「事件日誌」的人將是那些代表倡議採取行動的成員。理想情況下，每個為該倡議做一些事情的人都會完成「事件日誌」。此日誌應在事件發生後一週內完成。這樣，重要的細節就會記憶猶新！然後可以將完成的「事件日誌」提供給小組中負責評估的人員。
(三)仔細、準確地收集你的資訊
我們發現，在我們自己工作中，資料收集大約需要兩個小時到一週才能完成。當然，如果你的倡議是在一週內處理一個特別複雜的專案，你可能會花費兩倍甚至三倍的時間來收集資料。仔細收集你的資訊意味著產生的結果將更加準確，因此對你的倡議更有價值。
(四)整理資料，以便能夠運用
收集資訊後，需要將其移交給團隊中的人員，他們會將數據整理成某種有組織的形式，以便該倡議能夠以有益的方式使用它。此過程中的這一步驟可能需要花費大量時間；但是，不要害怕！正如你已經多次聽說過的那樣，只有花時間仔細分析結果，你從評估過程中獲得的好處才會有幫助。雖然這可能需要幾個小時，但最終你會很高興自己做到了！
(五)總結資料並將摘要分發給小組
接續，那些整理收集到的資訊的人員，將花時間摘要「事件日誌」。然後綜合結果將分發給小組成員。
總 結
恭喜！你剛剛學習了評估社區倡議(或方案)的「過程評估」最重要方法之一。請記住，有效監測你的倡議過程可以幫助你的團隊做到最好。
「過程評估」的工作表單
「過程評估」的實務方法
- Patton, M. Q. (1997). Utilization-focused evaluation: The new century text (3rd ed.). Sage Publications, Inc.
- Kloos, B., Hill, J., Thomas, E., Case, A. D., Scott, V. C., & Wandersman, A. (2021). Community Psychology: Linking Individuals and Communities (4th Ed.). Washington, D.C.: American Psychological Association.
- Rossi, P. H., Lipsey, M. W., & Freeman, H. E. (2004). Evaluation: A systematic approach (7th ed.). Thousand Oaks, CA: Sage.
- 陳嘉鳳 (2004)。「淺談社區方案規劃與成效評估」。《社區心理衛生中心方案評估資源手冊》，行政院衛生署。
- Whitman, A., & Wadud, E. (n.d.). Gathering Information: Monitoring Your Progress. Community Tool Box, The University of Kansas.
- Linney, J. A., & Wandersman, A. (1991). Prevention Plus III: Assessing Alcohol and Other Drug Prevention Programs at the School and Community Level. A Four-Step Guide to Useful Program Assessment. Alcohol, Drug Abuse, and Nental Health Administration(DHHP/PHS), Rockville, MD. Office for Substance Abuse Prevention.
- 《『社區心理學實務』的「社區服務方案設計」》專輯(VI)：「SMART+C」目標、成功策略和甘特圖─方案的有效原則和無效原因、方案的意外後果、總目標/目的vs.具體目標、設定「SMART+C」目標、發展成功的策略、規劃期程(製作「甘特圖」) (2025.11.12)
- 《『社區心理學實務』的「社區服務方案設計」》專輯(V)：規劃社區的系統性介入措施─『因果邏輯模式』中的「方案規劃」、設計社區介入措施的簡易指引、「構形方程式」的組成部分和不同面向的方法清單 (2025.11.4)
- 《『社區心理學實務』的「社區服務方案設計」》專輯(IV)：社會生態的「小區域分析」方法─定義和目的、使用時機、適合對象、步驟流程和美國紐約相關範例 (2025.10.31)
- 《『社區心理學實務』的「社區服務方案設計」》專輯(III)：社區資源盤點與地圖繪製─「社區資源」的定義/類型/重要性/識別(盤點)方法、社區地圖繪製的步驟(地理資訊系統)和範例(Google Maps) (2025.10.22)
- 《『社區心理學實務』的「社區服務方案設計」》專輯(II)：「社區」中的研究、『社區心理學』研究的要素和重要性、「行動研究」的源起和發展、「參與式行動研究」的定義/關鍵過程和範例(一)(二) (2025.10.16)
- 《『社區心理學實務』的「社區服務方案設計」》專輯(I)：「參與式」的社區介入規劃方法 (2025.10.14)
- 《『社區科學』的過去．現在．未來》專輯(I)：近5000年的『科學』史摘述、「科學革命」的誕生與其影響 (2025.5.17)
- 《『社區科學』的過去．現在．未來》專輯(II)：『心理學』作為一門『科學』的歷史觀點 (2025.5.23)
- 《『社區科學』的過去．現在．未來》專輯(III)：「科學革命的結構」—『典範轉移』的定義、循環、影響和範例 (2025.5.26)
- 《『社區科學』的過去．現在．未來》專輯(IV)：「科學哲學」的定義與演進，以及對『社區科學』研究實踐的影響 (2025.6.3)
- 《『社區科學』的過去．現在．未來》專輯(V)：『社區科學』的定義、特徵，以及與『心理學』領域的交集 (2025.6.6)
- 《『社區科學』的過去．現在．未來》專輯(VI)：生態效度、心理政治效度、社區研究和行動的綜合生態模式 (2025.6.11)
- 《『社區科學』的過去．現在．未來》專輯(VII)：彌合『科學』與實踐之間的差距─『預防科學』新典範、「以社區為中心」模式、推廣和實施的「互動系統架構」(ISF) (2025.6.15)
- 《『社區科學』的過去．現在．未來》專輯(VIII)：捕捉「社區」脈絡的『科學』方法─多層次模式(MLM)、地理資訊系統(GIS)、社會網絡分析(SNA)和集群分析(CA) (2025.6.20)
- 《『社區科學』的過去．現在．未來》專輯(IX)：「方案評估」和『科學』之間的關係─「評估」的歷史演進、「方案評估」的定義/目的/哲學觀/邏輯、「結果」和「影響」評估的區別與實例、「獲得結果」(GTO)的責信 (2025.6.26)
- 《『社區科學』的過去．現在．未來》專輯(X)：『人工智慧』(AI)的「方案評估」應用─發展進程、定義與概念、『科學』觀點、SWOT分析、應用實例、倫理議題和未來方向 (2025.6.29)
沒有留言:
張貼留言