Путеводитель по док.политике

Майкл Пэттон - один из ведущих специалистов в мире по оценке - о заблуждениях и упрощениях, связанных с концептом оценки (прежде всего, оценки программ и проектов):

1️⃣. Оценка прежде всего про данные. Надежные данные, безусловно, важны. Но оценка – это процесс определения ценности предмета оценки, то есть оценка – прежде всего о процессе профессионального суждения.
2️⃣. Оценка прежде всего о суждении. Суждение – это не «конечный результат» оценки. Суждение используется для обоснования при принятии решения. В этом ценность самой оценки.
3️⃣. Оценка прежде всего о принятии решений. Решение зависит от вопроса – того фокуса, для которого оценка генерирует данные.
4️⃣. Оценка прежде всего о вопросе. Но вопрос оценки зависит от ценностей заинтересованных сторон
5️⃣. Оценка прежде всего о ценностях. Ценности операционализируются через критерии - на этом строится логика оценки (выбор или разработка критерия, построение стандарта результата, собственно оценка на его основе). Критерии определяют направление оценки, в том числе то, какие формулируются цели, какие задаются вопросы и к каким выводам можно придти в итоге. При этом критерии часто остаются неявными или являются некорректно или размыто сформулированными, показывает [1]. Но, например, стандарты @auditgov обязывают явно прописывать критерии в программе аудита до его начала (полевого этапа).
6️⃣. Оценка прежде всего о критериях. Критерии отражают приоритеты важности, конвертируют ценности в профессиональное суждение. При этом оценка строится вокруг заинтересованных сторон, пользователей отчетов по оценке, лиц, принимающих решения – то есть не столько методы, сколько люди находятся в центре оценки.
7️⃣. Оценка – это какой-то один аспект – данные, суждение, решения, вопросы, ценности или критерии. Оценка - это все же динамическая система, последовательный процесс, в котором важен не один аспект, а их комплекс.

[1] Evaluative Criteria in Practice: Findings from an Analysis of Evaluations Published in Evaluation and Program Planning
/ Evaluation and Programm Planning. 2023 https://www.sciencedirect.com/science/article/abs/pii/S0149718923000034

YouTube

7 common evaluation misconceptions (oversimplications) and one reconceptualization

Oft-repeated assertions can become internalized beliefs that feel familiar and true even as they narrow and even distort our perspectives. Social media facilitates rapid dissemination of simple repetitive messages. Bottom line conclusions. Memes. Truisms.…

www.tgoop.com/evidence_guide/69

1.0K viewsedited  Jan 13, 2023 at 07:46

Майкл Пэттон - один из ведущих специалистов в мире по оценке - о заблуждениях и упрощениях, связанных с концептом оценки (прежде всего, оценки программ и проектов):

1️⃣. Оценка прежде всего про данные. Надежные данные, безусловно, важны. Но оценка – это процесс определения ценности предмета оценки, то есть оценка – прежде всего о процессе профессионального суждения.
2️⃣. Оценка прежде всего о суждении. Суждение – это не «конечный результат» оценки. Суждение используется для обоснования при принятии решения. В этом ценность самой оценки.
3️⃣. Оценка прежде всего о принятии решений. Решение зависит от вопроса – того фокуса, для которого оценка генерирует данные.
4️⃣. Оценка прежде всего о вопросе. Но вопрос оценки зависит от ценностей заинтересованных сторон
5️⃣. Оценка прежде всего о ценностях. Ценности операционализируются через критерии - на этом строится логика оценки (выбор или разработка критерия, построение стандарта результата, собственно оценка на его основе). Критерии определяют направление оценки, в том числе то, какие формулируются цели, какие задаются вопросы и к каким выводам можно придти в итоге. При этом критерии часто остаются неявными или являются некорректно или размыто сформулированными, показывает [1]. Но, например, стандарты @auditgov обязывают явно прописывать критерии в программе аудита до его начала (полевого этапа).
6️⃣. Оценка прежде всего о критериях. Критерии отражают приоритеты важности, конвертируют ценности в профессиональное суждение. При этом оценка строится вокруг заинтересованных сторон, пользователей отчетов по оценке, лиц, принимающих решения – то есть не столько методы, сколько люди находятся в центре оценки.
7️⃣. Оценка – это какой-то один аспект – данные, суждение, решения, вопросы, ценности или критерии. Оценка - это все же динамическая система, последовательный процесс, в котором важен не один аспект, а их комплекс.

[1] Evaluative Criteria in Practice: Findings from an Analysis of Evaluations Published in Evaluation and Program Planning
/ Evaluation and Programm Planning. 2023 https://www.sciencedirect.com/science/article/abs/pii/S0149718923000034

BY Путеводитель по док.политике