نمای کلی از پنج روش ارزیابی تأثیر کوتاه مدت

این پست مرور ، تجسم و فرضیه برنامه های پنج کوتاه مدتروشهای ارزیابی تأثیر: 1) قبل از پست ، 2) تفاوت ساده ، 3) تفاوت در اختلاف ، 4) آزمایش کنترل شده تصادفی و 5) طراحی ناپیوستگی رگرسیون. این می تواند به عنوان یک منبع تحریک کننده فکر برای افراد علاقمند به ارزیابی مقرون به صرفه بودن برنامه های خود و دیگران استفاده شود.

ساختار

روش

مقایسه می کند: مقادیر متریک نتیجه که این روش به منظور تخمین تأثیر برنامه مقایسه می شود

برآورد ضد خلاف: مقدار تخمین زده شده از متریک نتیجه یا تغییر آن در طول برنامه در غیاب برنامه

فرض: نیاز به اعتبار مطالعه که با روش تأیید نمی شود

موارد استفاده: زمینه هایی که می توان از آن استفاده کرد

مثالها: نمونه های فرضی که در آن می توان از این روش استفاده کرد

مواد و روش ها

1. قبل از ارسال

مقایسه: مقادیر متریک شرکت کنندگان قبل و بعد از برنامه

برآورد متقابل: تغییر صفر در مقادیر متریک شرکت کنندگان در طول برنامه

فرض: هیچ چیز در غیاب برنامه بر متریک مشاهده شده شرکت کنندگان تأثیر نمی گذارد

موارد استفاده: برنامه هایی با نتایج و خروجی های منحصر به فرد

مثال ها:

• پیامدهای بهداشتی در مناطقی که غیر از برنامه متخصصان بهداشت نمی توانند کار کنند و ذینفعان نمی توانند سفر کنند
• سواد مالی پس از یک دوره کوتاه با ارائه این مهارت ها تغییر می کند

روش قبل از پست مقادیر متریک شرکت کنندگان را قبل و بعد از برنامه مقایسه می کند.

1. 5 قبل از پست با روند

مقایسه می کند: مقادیر متریک واقعی و برون یابی شرکت کنندگان (هر دو) پس از برنامه

برآورد متقابل: تغییر ارزش متریک شرکت کنندگان بر اساس برون یابی روند متریک

فرض: روند ارزش متریک شرکت کنندگان در طول برنامه ادامه می یابد

موارد استفاده: برنامه هایی با معیارهای تأثیرگذاری روند ثابت

مثال ها:

• فاصله متوسط تا یک نقطه آبرسانی تمیز در منطقه ای که زیرساخت های آب شیر آب در طی یک دهه به طور پیوسته در حال بهبود است و تغییرات سرمایه گذاری قابل توجهی بعید است
• بروز HIV/AIDS در منطقه ای که این بروز رشد مداوم داشته باشد و در جایی که افزایش نرخ رشد تعداد یا کارآیی سازمان هایی که به این موضوع پرداخته اند بعید است

روش قبل از پست با روند مقادیر متریک واقعی و برون یابی شرکت کنندگان را پس از برنامه مقایسه می کند.

2. تفاوت ساده

مقایسه می کند: مقادیر متریک شرکت کنندگان و غیر شرکت کنندگان پس از برنامه

تخمین ضد خلاف: مقادیر متریک غیر شرکت کنندگان پس از برنامه

فرض: تغییر ارزش متریک به دلیل برنامه برای شرکت کنندگان و غیر شرکت کنندگان قابل مقایسه است و ثانیاً ، مقادیر متریک شرکت کنندگان و غیر شرکت کنندگان قبل از این برنامه معادل آن است

موارد استفاده: مطالعات واحدهای تجزیه و تحلیل قابل مقایسه (مانند افراد یا خانوارها) در شرایط ثابت

مثال ها:

• بهزیستی مرغها در مزارع قابل مقایسه با و بدون اقدامات بهبود یافته رفاه خاص
• درآمد خانوارهای بسیار ضعیف قابل مقایسه در یک تله فقر شرکت کننده و شرکت در یک برنامه انتقال نقدی

روش تفاوت ساده مقادیر متریک شرکت کنندگان و غیر شرکت کنندگان را پس از برنامه مقایسه می کند.

3. تفاوت در اختلافات

مقایسه می کند: اختلافات ارزش متریک قبل از شرکت کنندگان و غیر شرکت کنندگان ، در حالی که شرکت کنندگان و افراد غیر شرکت کننده به طور تصادفی اختصاص نمی یابند

برآورد ضد خلاف: تغییر ارزش متریک قبل از پس از آن غیر شرکت کنندگان

فرض: ارزش متریک شرکت کنندگان همان کار غیر شرکت کنندگان را تغییر می داد

موارد استفاده: تجزیه و تحلیل واحدهای قابل مقایسه در شرایط نسبتاً در حال تغییر

مثال ها:

• سرمایه گذاری های آموزش و پرورش از خانوارهای قابل مقایسه شرکت کننده و شرکت در یک برنامه جزوه در یک منطقه با یک برنامه رادیویی جدید که مرور اهمیت آموزش را بررسی می کند
• اقدامات پیشگیری COVID-19 توسط افراد در هنگام شروع همه گیر شرکت کننده و شرکت نکردن در یک برنامه رادیویی در پیشگیری COVID-19

تفاوت در روش تفاوت ، تفاوت های ارزش معیار قبل از معیار شرکت کنندگان و غیر شرکت کنندگان را مقایسه می کند ، در حالی که شرکت کنندگان و غیر شرکت کنندگان به طور تصادفی اختصاص نمی یابند.

4- کارآزمایی کنترل شده تصادفی

مقایسه می کند: اختلافات ارزش متریک قبل از شرکت کنندگان و غیر شرکت کنندگان ، در حالی که شرکت کنندگان و غیر شرکت کنندگان به طور تصادفی اختصاص می یابند

برآورد ضد خلاف: تغییر ارزش متریک قبل از پس از آن غیر شرکت کنندگان

فرض: ارزش متریک شرکت کنندگان همان کار غیر شرکت کنندگان را تغییر می داد

موارد استفاده: تجزیه و تحلیل واحدهای متنوع در شرایط نسبتاً در حال تغییر

مثال ها:

• درآمد شرکتهای مختلف خرد (برخی از آنها در یک برنامه افزایش درآمد و برخی از آنها شرکت نمی کنند) در منطقه ای با رشد قابل مقایسه فرصت های اقتصادی مرتبط
• اقدامات مراقبت های بهداشتی پیشگیرانه توسط خانوارهای مختلف (برخی از آنها در یک برنامه انتقال نقدی مشروط و برخی از آنها شرکت نمی کنند) در منطقه ای با برنامه نویسی آگاهی از مراقبت های بهداشتی پیشگیرانه قابل مقایسه

روش کارآزمایی کنترل شده تصادفی ، تفاوتهای ارزش معیار قبل از معیار شرکت کنندگان و غیر شرکت کنندگان را با هم مقایسه می کند ، در حالی که شرکت کنندگان و غیر شرکت کنندگان به طور تصادفی اختصاص می یابند.

5. طراحی ناپیوستگی رگرسیون

مقایسه: روند فراوانی ارزش متریک غیر شرکت کنندگان و مقادیر متریک واقعی شرکت کنندگان در اطراف یک امتیاز واجد شرایط بودن برنامه

برآورد ضد خلاف: روند برون یابی ارزش متریک از غیر شرکت کنندگان دقیقاً زیر یک امتیاز قطع واجد شرایط

فرض: در غیاب برنامه ، روند نتیجه غیر شرکت کنندگان دقیقاً زیر نمره قطع صلاحیت برنامه به نمرات واجد شرایط بودن شرکت کنندگان درست بالاتر از نمره قطع ادامه می یابد

موارد استفاده: برنامه هایی با متریک واجد شرایط بودن که بر نتیجه تأثیر می گذارد

مثال ها:

• اثرات حضور در یک برنامه برای دانشجویان زیر سطح نمره آزمون خاص
• رفتار بهداشتی و درمانی به دلیل برنامه ای برای بیماران بالاتر از فاصله مشخصی از یک کلینیک تغییر می کند

طراحی ناپیوستگی رگرسیون ، روند فراوانی ارزش متریک غیر شرکت کنندگان و مقادیر متریک نتیجه واقعی شرکت کنندگان را در مورد نمره کاهش صلاحیت برنامه مقایسه می کند.

نتیجه

انواع مختلفی از روشهای کمی می تواند برای ارزیابی تأثیر کوتاه مدت برنامه ها استفاده شود.