10 نکته کلیدی: نحوه ارزیابی اینکه آیا یک برنامه واقعاً باعث می شود بازارها برای فقرا کار کنند

نمونه های نسبتاً کمی از ارزیابی تأثیر دقیق برنامه های سیستم های بازار وجود دارد ، و مباحث مربوط به آنها ادامه می یابد که روش های ارزیابی مناسب است. تحقیقات قبلی کاستی های ارزیابی ها را برجسته کرده است: در ارزیابی اینکه آیا برنامه ها منجر به تغییر سیستمیک می شوند ، توجه محدودی به تأثیرات ناخواسته یا منفی و ضعف در نحوه استفاده از داده های کیفی و کمی.

جای تعجب آور نیست که برای تهیه یک رویکرد ارزیابی کافی زمان لازم است. پیچیدگی سیستم های بازار ، این واقعیت که برنامه ها به جای تحویل مستقیم تغییر می کنند و مشکلات عملیاتی در انجام کار میدانی به این معنی است که طراحی و اجرای یک ارزیابی ساده نیست.

راهنمایی ارزیابی Beam برای کمک به ارزیابان ، مدیران برنامه و اهدا کنندگان این مشکلات و سایر مشکلات را به وجود می آورد. توصیه های کلیدی از راهنمایی شامل موارد زیر است:

1. از یک رویکرد مبتنی بر تئوری برای ارزیابی استفاده کنید. برنامه ها با هدف ارتقاء تغییر در بخش های مختلف یک سیستم بازار انجام می شود. شناسایی در کجا و چگونه تأثیرات به دست می آید به معنای تمرکز بر روی زنجیره های علی و شناسایی چگونگی و چرا مداخلات در یک زمینه خاص است. ارزیابی مبتنی بر تئوری پایه و اساس انجام این کار را فراهم می کند.

2. از ترکیبی از روش ها ، از منابع مختلف استفاده کنید. ارزیابی مبتنی بر تئوری برای یک برنامه سیستم های بازار به طور معمول نیاز به استفاده از طیف وسیعی از روش های مختلف برای ارزیابی آنچه تغییر کرده است ، و نتیجه گیری هایی را که توسط شواهد از منابع مختلف (مثلث) پشتیبانی می شود ، نتیجه می گیرد.

3. شکستن یک برنامه به قسمت های مؤلفه و درک روشهای مختلفی که مداخلات به تأثیرات می رسند می توانند به تعیین اینکه کدام روش ها مفید خواهند بود ، کمک کند. در جایی که تأثیر یک مداخله واحد را می توان از اثرات بقیه برنامه جدا کرد ، ممکن است استفاده از روشهای آزمایشی یا شبه تجربی امکان پذیر باشد. این تأثیرات کمیت و نسبت به یک برنامه با استفاده از یک گروه درمانی و یک گروه کنترل (همانطور که Samarth NMDP برای مداخله برای تقویت تولید زنجبیل در نپال انجام داد).

همانطور که در نمودار نشان داده شده است ، راهنمایی توضیح می دهد که چگونه مفهوم سازی تغییر در یک مداخله می تواند به انتخاب روش ها کمک کند.

4- روشهای آزمایشی به خودی خود کافی نخواهد بود (به نقطه 2 مراجعه کنید) ، و در جایی که پروژه های مختلف با تمرکز بر عناصر مختلف سیستم بازار به عنوان یک برنامه یکپارچه اجرا شده اند ، کمتر کار می کنند. در این حالت جدا کردن و کمیت تأثیر یک مداخله واحد سخت تر (یا غیرممکن) سخت تر خواهد بود.

5- ارزیابی ها نیاز به تأکید جدی بر اصل مشارکت دارند. برنامه ها فقط تغییر را تسهیل می کنند ، بنابراین رفتار سایر بازیگران نیز تفاوت معنی داری در نتایج ایجاد می کند. در این موارد ، طرحی که سهم یک برنامه (همراه با سایر دلایل) را ارزیابی می کند ، با استفاده از روش هایی مانند تجزیه و تحلیل مشارکت ، همانطور که در ارزیابی یک برنامه بخش مالی در کنیا به کار رفته است ، ضروری خواهد بود.

6. روی تغییر سیستمیک تمرکز کنید. ارزیابی ها باید بر میزان تغییر برنامه ها در عملکرد سیستم بازار متمرکز شوند. تحقیق و بحث در مورد چگونگی بهترین توصیف و اندازه گیری تغییر بازار سیستمیک ادامه دارد. با این حال ، یک نقطه شروع مفید ارزیابی شاخص های "تقلید" و "خرید" است. نکته دیگر این است که روی مقیاس تمرکز کنید (چند نفر از آن سود بردند؟) ، پایداری (آیا پس از پایان مداخله ، مزایای آن را افزایش می دهد؟) و مقاومت (آیا بازیگران بازار توانایی سازگاری با چالش های آینده را دارند؟).

7. برای درک آنچه در یک سیستم اتفاق می افتد ، دیدگاه های مختلفی لازم است. تولید کنندگان ، بازرگانان ، نمایندگان پسوند و مقامات دولتی نقش های مختلفی را در یک سیستم بازار ایفا می کنند. هرکدام در مورد آنچه در حال تغییر است ، دیدگاه های مختلفی خواهد داشت و چه کسی از آن سود می برد.

8- آیا برنامه ای واقعاً کمک کرده است تا بازار برای فقرا بهتر کار کند؟ارزیابی ها نیاز به بررسی و در نظر گرفتن طیف گسترده ای از دیدگاه ها و تجربیات افرادی که در فقر زندگی می کنند. این شامل هم ذینفع مستقیم (به عنوان مثال کشاورزان با استفاده از روشهای جدید معرفی شده با کمک برنامه) و ذینفعان غیرمستقیم (سایر افراد که در همان جوامع زندگی می کنند) است.

9. روش هایی را که می توانند تأثیرات غیر منتظره را شناسایی کنند ، بگنجانید. همانطور که از نام آن پیداست ، ارزیابی مبتنی بر تئوری تئوری تغییر ارزیابی را به عنوان نقطه شروع آن می گیرد. با این حال ، پیچیدگی سیستم های بازار به این معنی است که ارزیابان باید فراتر از نتایج پیش بینی شده در تئوری تغییر باشند ، و همچنین باید برای تأثیرات منفی تحقیق کنند.

10. هنگام تفسیر نتایج ، به تعصب توجه ویژه ای به تعصب کنید. توجه دقیق به نمونه گیری برای بررسی های کمی ضروری است ، همانطور که یک ارزیابی دقیق از اینکه آیا نتایج برای جمعیت گسترده تر کاربرد دارد ، ضروری است. تحقیقات کیفی می تواند یک مبنای دقیق برای ارزیابی تأثیر فراهم کند ، اما پتانسیل قابل توجهی برای تعصب وجود دارد.

تصدیق این امکان و تفکر به طور سیستماتیک در مورد چگونگی پرداختن به آن باید در مرحله برنامه ریزی یک ارزیابی انجام شود. در حالی که سیستم های بازار از نظر ماهیت پیچیده هستند ، ارزیابی هایی برای ارزیابی تأثیر آنها لازم نیست ، و باید هنگام طراحی یکی از موارد فوق را در نظر گرفت. راهنمایی ارزیابی پرتو جزئیات بیشتری در مورد این نکات و سایر موضوعاتی که در طراحی و اجرای یک مطالعه ارزیابی در نظر گرفته شده است ، ارائه می دهد.

2 نظر

در "10 امتیاز کلیدی"

Fionn عزیز ، از این پست وبلاگ عالی و آموزنده بسیار سپاسگزارم. شما ذکر کردید که "[T] در اینجا نمونه های نسبتاً کمی از ارزیابی تأثیر دقیق برنامه سیستم های بازار است."به همان اندازه که سؤال" چگونه "جالب است ، سؤال" چه "(یعنی شواهد) نیز به همان اندازه مهم است. بنابراین سوال من این است: 1) شواهد چه چیزی را نشان می دهد؟نمونه های بتونی (آسان برای درک پزشکان)؟2) آیا شواهد مبتنی بر: الف) مقایسه سایر پروژه ها با "تحویل مستقیم" (در مقایسه با "سیستمیک")؟ب) پروژه هایی که فعال/در حال اجرا هستند اما یک یا چند مداخله (که برای پایداری و مقیاس پذیری آنها ارزیابی می شوند) در طول زندگی پروژه ها انجام می شود؟ج) پروژه هایی که مدتی پیش از بین رفته و برای تأثیرات آنها ارزیابی شده اند؟(من شک دارم که آیا پروژه ها و اهدا کنندگان علاقه ای به انجام این کار دارند اما علاقه مند به دانستن هستند). د) یا. با احترام ، Zenebe Uraguchi

Zenebe Uraguchi(7 سال پیش)

سوالات عالی

Zenebe عزیز سوالات عالی بود، از اینکه نظرات خود را با ما در میان گذاشتید متشکریم. شواهد چه چیزی را نشان می دهد؟ما در BEAM همین سوال را از خود پرسیده ایم. این باعث شد که بیرون برویم و آن را جستجو کنیم. ما اکنون آنچه را که در نقشه شواهد BEAM پیدا کرده ایم ارائه می کنیم که می توانید هنگام رفتن به منوی «شواهد» در بالا (https://beamexchange. org/resources/evidence-map/) پیدا کنید. آنچه را که می توانستیم از نظر شواهد با انجام یک جستجوی سیستماتیک و بکارگیری مجموعه ای از معیارهای گنجاندن، گرد هم بیاوریم. ما در حال حاضر در حال کار بر روی یک خلاصه روایتی از پایگاه شواهد هستیم که مجموعه اسناد را در قالب کلمات بسته بندی می کند، امیدواریم به این سوال پاسخ دهیم که "شواهد نشان می دهد چیست؟"به سوال دوم شما: به نظر من همه اینها معتبر است. ما از این نظر که شواهد از کجا آمده اند نسبتاً باز هستیم. آنچه مهم است این است که از استاندارد کیفیت خاصی پیروی می کند و معیارهای ورود ما را پاس می کند، معیارهایی که شامل شفاف بودن در مورد روش مورد استفاده و معتبر بودن در نحوه جمع آوری و ارائه داده ها است. جزئیات بیشتر در مورد روش مورد استفاده را می توان در اینجا یافت: https://beamexchange. org/evidence/evidence-map/methodology-evidence-map/ راهنمای ارزیابی به طور خاص فقدان راهنمایی روشن در مورد چگونگی ارزیابی رویکردهای سیستم های بازار را هدف قرار می دهد. در تعداد کم ارزیابی تاثیر در نقشه شواهد BEAM منعکس شده است. امیدواریم با راهنمایی های ما بتوانیم این حفره را در نقشه ایجاد کنیم.

مارکوس جنال(7 سال پیش)

نظر خود را اضافه کنید

برای نظر دادن و مشارکت ثبت نام کنید یا وارد شوید.