روش‌های ارزیابی وضع افراد در دوره قبل و بعد از فعالیت سازمان
یک روش ارزیابی این است که اطلاعات روز نخست شناسایی یا معرفی افراد موضوع فعالیت فقرزدایی سازمان تهیه، سپس اطلاعات پس از مداخله سازمان جمع‌آوری شود. روش دیگر این است که وضع قبل و بعد افراد بدون در نظر گرفتن عملکرد سازمان مورد بررسی قرار گیرد که دریافت شود آیا افراد موضوع فقرزدایی واقعا بدون مداخله سازمان مردم‌نهاد در همان سطح روز نخست باقی می‌ماندند. این بدان جهت است که گاهی تغییرات ناشی از برنامه‌ریزی و عملکرد سازمان برای فرد موضوع فعالیت سازمان با تغییراتی که به هر جهت در گذر زمان ایجاد می‌شده، اشتباه گرفته می‌شود. مثلا ممکن است وضع اقتصادی جاری و پس از فعالیت سازمان نسبت به شرایط اقتصادی زمان مطالعه وضع اولیه فرد موضوع فقرزدایی رشد پیدا کرده باشد. در این صورت درست برخلاف آنچه سازمان مردم‌نهاد ممکن است به فعالیت و حضور خود منتسب کند، جامعه با جزری روبه‌رو باشد که همه افراد جامعه اعم از موضوع فعالیت سازمان یا غیر آن را به وضع بالاتر و بهتری ارتقا داده است. نمونه این ارزیابی اشتباه را در تحلیل یکی از سازمان‌های مردم‌نهاد با هدف فقرزدایی در تانزانیا می‌توان مشاهده کرد. سازمان، آمار داد که واریز وجه نقد به حساب افراد موضوع فعالیت سازمان، مصرف خوراک آنها را افزایش داده است، درحالیکه در بررسی‌ها مشخص شد میزان خوراک مصرفی افرادی که وجهی دریافت نکرده‌اند نیز به همان اندازه رشد داشته است. همان‌گونه که ملاحظه شد نتیجه‌گیری سازمان از بررسی صرف وضع قبل و بعد افراد موضوع فعالیت سازمان بدون توجه به سایر عوامل موثر و بدون بررسی وضع اقتصادی جامعه بسیار اغراق‌آمیز است. در سازمان مردم‌نهاد دیگری با هدف فقرزدایی در نیکاراگوئه فعالیت واریز وجه نقد به حساب افراد در دوره نابسامانی اقتصادی اجرا شد. مصرف خوراک افراد موضوع فقرزدایی درحالی روی نمودار رشد قرار داشت که خوراک مصرفی سایرینی که موضوع فعالیت سازمان نبودند، سیر نزولی نشان می‌داد. اگر در این وضع فقط به مقایسه افزایش مصرف افراد موضوع فقرزدایی پس از مداخله سازمان نسبت به زمان شروع مطالعه و وضع سابق افراد توجه شود و وضع سیر نزولی اقتصادی مورد ارزیابی قرار نگیرد، قطعا میزان تأثیر فعالیت سازمان بر تحقق هدف فقرزدایی کمتر از میزان واقعی محک زده خواهد شد.
باید توجه داشت که گاهی افراد نه به جهت نیازمندی یا واجد شرایط بودن، بلکه به دلیل بهره‌مندی از فرصت‌هایی که موضوع فعالیت سازمان بودن برای آنها ایجاد می‌کند به عنوان فرد موضوع فعالیت فقرزدایی به سازمان می‌پیوندند، مثلا فرد درمی‌یابد که با استفاده از وامی که سازمان مردم نهاد در اختیار او قرار خواهد داد می‌تواند از فرصت اقتصادی ایجادشده استفاده کند. در این شرایط طبیعی است که فرد موضوع فقرزدایی صرف‌نظر از وجود و عملکرد سازمان مردم‌نهاد در گذر زمان وضعیت بهتری نسبت به قبل خواهد داشت. مطالعات بانک جهانی نشان می‌دهد که در سه‌چهارم موارد مربوط به بودجه‌های خرد، تحلیل و ارزیابی تاثیربخشی فعالیت سازمان، متاثر از دریافت اشتباه از مطالعات قبل و بعد افراد موضوع فقرزدایی سازمان بوده و در نتیجه نادرست است. کوتاه سخن این‌که مطالعه صرف وضع قبل و بعد، ارزیابی درستی از شرایط ناشی از نبود فعالیت سازمان اجرا به دست نمی‌دهد و لذا ارزیابی دقیقی برای دریافت میزان تأثیربخشی فعالیت سازمان محسوب نمی‌شود.
ارزیابی وضع افراد موضوع فقرزدایی سازمان در مقایسه با سایر افرادی که موضوع فعالیت سازمان نیستند:
گاهی بعضی سازمان‌ها برای ارزیابی تأثیر عملکرد خود، وضع افراد موضوع فقرزدایی سازمان را با وضع سایرینی مقایسه می‌کنند که موضوع فقرزدایی سازمان نیستند. فرض بر این است که در این شیوه، قیاس وضع شرایط افراد موضوع فعالیت سازمان با غیر آن مبین تغییر وضع ناشی از اجرای فعالیت سازمان در مقایسه با عدم اجرای آن است، درحالیکه اطلاعات به‌دست آمده از فردی که موضوع فعالیت فقرزدایی نبوده به هیچ وجه اطلاعات معتبری محسوب نمی‌شود که بتوان براساس آن وضع ناشی از عدم فعالیت سازمان را ارزیابی کرد. فردی که ممکن است فاقد ویژگی‌های نهفته‌ای باشد که ذینفع را واجد شرایط آن برنامه می‌کند، مثلا انتخاب فرد، در این‌صورت تاثیربخشی برنامه اغراق‌آمیز است. اگر یک فرد سازمان را برای زمان بحران انتخاب کند، تاثیر کمتر از اثر واقعی نشان داده می‌شود. در هر صورت این مقایسه‌ها آمار درستی به دست نمی‌دهد و گمراه‌کننده است.
آنچه در هر دو شیوه -تفاوت قبل و بعد یا تفاوت بین افراد موضوع فقرزدایی و سایرین- مشاهد می‌شود مشتمل بر واقعیت و پیش‌داوری است که با کسر و اضافه وضعیتی که در آن فعالیت انجام نشده می‌توان به وضع واقعی‌تری رسید.
ارزیابی درست
ماحصل کلام این است که بررسی وضع افراد در شرایطی که سازمان هنوز فعالیتی انجام نداده، اطلاعات درست و قابل اعتمادتری به‌دست می‌دهد. اصل کلی در یک ارزیابی معتبر این است که بعد از مطالعه وضع افراد در شرایطی که سازمان فعالیتی انجام نداده، کیفیت تأثیر عملکرد سازمان بر افراد -اعم از موضوع فقرزدایی و غیر آن- پس از انجام فعالیت فقرزدایی سازمان موردبررسی قرار گیرد. در این شرایط گروهی از افراد تشکیل می‌شود که از نظر آماری منعکس‌کننده کسانی هستند که مداخله سازمان را تجربه نکرده‌اند. برای رسیدن به این نتیجه می‌توان به شیوه‌های متفاوتی متوسل شد. این شیوه‌ها عبارتند از: الف)ترکیب تجربه تصادفی و معمولی، ب) تعیین حد، ج) ترکیب شرایط قبل و بعد و شرایط افراد موضوع فقرزدایی در مقابل سایرین (تفاوت در تفاوت‌ها). برای بهتر روشن‌شدن شیوه‌های منتهی به ارزیابی دقیق از عملکرد سازمان در ذیل مثال‌های مناسب، هر یک از شیوه‌ها ارایه می‌شود:
ترکیب تجربه تصادفی و معمولی
فرض کنید سازمان مردم‌نهاد شما برنامه‌ریزی کرده در جهت فقرزدایی، شهریه مدرسه فرزندان خانواده‌های کم‌درآمد تانزانیایی را تأمین می‌کند. شما مقدار x از منابع اعطایی را در اختیار دارید. با توجه به این واقعیت که با این میزان اعتبار نمی‌توانید به همه کودکان تانزانیا کمک کنید، باید تعدادی از کودکان را انتخاب کنید. انتخاب کار مشکلی است. یک شیوه انتخاب افراد موضوع فقرزدایی عبارت است از: ارزیابی + طبقه‌بندی + قرعه‌کشی.
برای این منظور ابتدا شرایط اولیه کودکان را در محل عملیاتی سازمان خود ارزیابی می‌کنید. برای ارزیابی شرایط آنها معیارهای ساده‌ای نظیر فقر خانواده، سلامت، ریسک و غیره را مورد ملاحظه قرار می‌دهید. به‌دنبال این ارزیابی از کودکان می‌خواهید ظرف مدت مشخصی به شما اعلام کنند که تصمیم ورود به مدرسه آنها به چه میزان به دریافت سوبسید شهریه مدرسه بستگی دارد. پس از دریافت پاسخ، کودکان را به سه گروه تقسیم می‌کنید: ۱)کسانی که تقریبا به‌طور قطعی تصمیم آنها منوط به امکان دریافت سوبسید شهریه مدرسه است، ۲) کسانی که سوبسید ممکن است بر تصمیم آنها برای ورود به مدرسه تأثیر بگذارد. ۳)کسانی که احتمالا سوبسید به آنها تعلق نمی‌گیرد (به دلیل این‌که آنها حتی بدون دریافت سوبسید وارد مدرسه می‌شوند یا حتی در صورت دریافت سوبسید قصد ندارند به مدرسه بروند). باید توجه داشت که این شیوه، هم تأثیر فعالیت سازمان را مشخص می‌کند و هم احتمالا در افزایش تأثیر فعالیت سازمان نقش دارد.
فرض کنید سازمان شما برای کودکان گروه نخست به قدر کافی منبع مالی در اختیار دارد و علاوه بر آن با مابقی منبع مالی می‌توان تعداد دیگری را مورد پوشش قرار داد، اما این مقدار برای تحت پوشش قرار دادن همه کودکان گروه دوم کافی نیست. بدیهی است که شما بعد از حذف کودکان گروه سوم، سوبسید را به کودکان گروه نخست می‌دهید، سپس به کودکان گروه دوم اعلام می‌کنید که به تعدادی از آنها سوبسید منصفانه و برابری تعلق می‌گیرد که می‌تواند درصدی از شهریه مدرسه آنها را تأمین کند. یک قرعه‌کشی عمومی انجام می‌دهید تا افراد را برگزینید. فرض کنید ۴۰درصد از کودکان گروه دوم را با توجه به میزان اعتبار و درصد سوبسید، از طریق‌قرعه کشی انتخاب می‌کنید. برای اندازه‌گیری میزان تأثیر عملکرد سازمان بر فقرزدایی، نتیجه به‌دست آمده از بررسی وضع ۴۰درصد کودک منتخب گروه دوم در زمان‌های مختلف را با وضع همان تعداد کودک از بین گروه دوم که از طریق قرعه‌کشی انتخاب نشده‌اند، مقایسه می‌کنید. در ارزیابی تأثیر فعالیت سازمان بر فقرزدایی و وضع کودکان انتخاب‌شده، ملاک‌هایی نظیر ورود به مدرسه، کاهش کودکان کار، آموزش و غیره را مدنظر قرار می‌دهید. تفاوت ایجادشده متوسط تاثیرگذاری را نشان می‌دهد. در این محاسبه باید خطای استاندارد را درنظر گرفت. نتیجه این محاسبه، آمار گویایی است با سطح قطعیت بالا که تصادفی نبوده و بسیار قابل اعتماد و دقیق است.
تعیین حد
فرض کنید نمی‌خواهید از روش مبتنی بر تجربه استفاده کنید، در این صورت برای انتخاب افراد واجد شرایط چند شاخص تعیین کنید. مثلا در پروژه کشاورزی، دانه را در اختیار کشاورزانی قرار می‌دهید که زمین آنها کمتر از ۰/۵ کیلومترمربع مساحت دارد، به این ترتیب کشاورزانی که مساحت زمین آنها بیش از میزان تعیین‌شده است مشمول این پروژه قرار نمی‌گیرند. در ارزیابی تأثیر عملکرد سازمان بر فقرزدایی باید توجه کرد که مقایسه وضع کشاورزان دارای زمینی به مساحت ۰/۱ کیلومترمربع، با وضع کشاورزان دارای زمین با مساحت زیاد (مثلا ۵۰ کیلومترمربع) آنها را از برخورداری از دانه محروم می‌کند. در این قیاس تفاوت شرایط وضع دو کشاورز قبل و بعد از توزیع دانه بسیار زیاد بوده و نتیجه دقیقی از تأثیر عملکرد سازمان به دست نمی‌دهد.
اما اگر وضع کشاورزی با زمینی به مساحت ۰/۴ کیلومترمربع با وضع کشاورزی با زمینی به مساحت ۰/۶ کیلومترمربع را مقایسه کنید، درمی‌یابید که وضع کشاورزان پیش از دریافت دانه در شرایط مشابه‌تری نسبت به مثال و قیاس قبلی قرار دارند. مساحت زمین هر دو کشاورز کوچک است: یکی به‌طور اتفاقی زیر مرز تعیین شده قرار گرفته و دیگری به‌طور اتفاقی بالای آن مرز قرار دارد. بدیهی است که پس از فعالیت سازمان، کشاورز اول دانه دریافت می‌کند و کشاورز دوم خیر. اما این دو کشاورز همچنان و حتی قبل از توزیع دانه‌ها، شباهتی به هم ندارند. کشاورز اولی با زمینی به مساحت۰/۶ کیلومترمربع ذهن اقتصادی‌تری نسبت به کشاورز دارای زمینی به مساحت ۰/۴ کیلومترمربع دارد (به همین دلیل است که زمین او۰/۲ کیلومترمربع بزرگتر است). بنابراین بهترین راه برای او آن است که تحلیل رگرسیون (بازگشت به میزان متوسط) را اعمال کنید. در این تحلیل می‌توانید مساحت زمین کشاورزان و سایر متغیرها را کنترل کنید و به مقایسه وضع مشروعیت ببخشید.
برای کارایی این شیوه باید به وضع افراد موضوع فقرزدایی نزدیک به مرز تعیین‌شده توجه کرد. به عبارت دیگر با این شیوه می‌توان نشان داد که عملکرد سازمان چه تاثیری در شرایط افراد نزدیک مرز گذاشته است اما با این شیوه نمی‌توان ارزیابی دقیقی از عملکرد سازمان بر وضع کشاورزانی با زمین‌هایی به مساحت ۰/۱ کیلومترمربع ارایه داد، درحالیکه به کشاورزان نزدیک مرز می‌تواند نشان داد که این پروژه چه تغییری در شرایط آنها ایجاد می‌کند.
ترکیب شرایط قبل و بعد و شرایط افراد موضوع فقرزدایی در مقابل سایرین
(تفاوت در تفاوت‌ها)
گرچه همان‌طور که پیشتر گفته شد، هرچند بررسی وضع قبل و بعد و بررسی افراد و موضوع فقرزدایی در مقایسه با سایرین ضعف‌های خود را دارند، اما ترکیب این دو شیوه نتایج قابل‌اعتمادی به‌دست می‌دهد. فرض کنید در سازمان خود برنامه‌ای را مدیریت می‌کنید که برنامه آن توزیع مرغ (برای تغذیه، پرورش و فروش) به فقیرترین خانوارهای یک جامعه است. برای این‌که دریابید آیا دریافت مرغ بر وضع درآمد خانوارهای موضوع فقرزدایی افزایش داشته یا خیر، بررسی وضع قبل و بعد خانوارها کافی نیست. به این دلیل که در این مقایسه، فرض شما بر این است که درآمد خانوارها به میزان دوره‌ای بوده که مرغ توزیع نشده است، درحالیکه میزان درآمد مردم می‌تواند به دلایل مختلف متحول شود. مضافا این‌که نمی‌توان وضع درآمد این خانوارها را با اعضای دیگر جامعه که موضوع پروژه سازمان شما نیستند، مقایسه کرد، زیرا کسانی که مرغ دریافت می‌کنند، هرچند با دریافت مرغ‌ها ممکن است درآمد بیشتری داشته باشند، اما باید توجه داشت که احتمالا آنها همچنان فقیرترین اقشار جامعه هستند.
شیوه مرکب تفاوت در تفاوت‌ها که از ترکیب شیوه مقایسه قبل/بعد با شیوه شرایط افراد موضوع فقرزدایی/سایرین به‌دست می‌آید، نتیجه دقیق‌تری را موجب می‌شود. فرض کنید با بررسی شیوه مقایسه وضع سابق و لاحق افراد موضوع فقرزدایی دریابید که درآمد خانوار از ۱۰۰ پزو به ۲۰۰ پزو در ماه رسیده است و در این بررسی به این نتیجه می‌رسید که وضع سابق و لاحق سایرین نیز نشان می‌دهد که درآمد آنها، مثلا به دلیل بارش خوب، بالا رفته و از ۳۰۰ پزو به ۳۵۰ پزو می‌رسد. بنابراین تغییر در درآمد افراد موضوع فقرزدایی ۱۰۰ پزو و تغییر درآمد سایرین ۵۰ پزو است. نتیجه این است که حتی بدون اجرای پروژه، چنانچه درآمد سایرین نشان می‌دهد، تغییر برای افراد موضوع فقرزدایی ایجاد می‌شد.
تأثیر عملکرد سازمان= ۱۰۰ (تغییر واقعی برای افراد موضوع فقرزدایی) منهای ۵۰ (آنچه بدون اعمال پروژه، برای سایرین، محقق شده) = ۵۰ پزو در ماه. علت نام‌گذاری این شیوه تحت عنوان تفاوت در تفاوت‌ها این است که تفاوت بین دو تفاوت را اندازه می‌گیرد (تغییر وضع افراد موضوع فقرزدایی منهای تغییر وضع سایرین). در صورتی که دلایل خوب و کافی وجود داشته باشد که نشان بدهد در غیاب فعالیت سازمان، درآمد افراد موضوع فقرزدایی و سایرین به همان نسبت افزایش می‌یافت، شیوه تفاوت در تفاوت‌ها می‌تواند رقم دقیقی از تأثیر فعالیت سازمان به‌دست بدهد. این شیوه بهترین روش بررسی سرعت رشد درآمد هر دو گروه (مشمول برنامه فقرزدایی و سایرین) است که می‌تواند قبل از معرفی برنامه ارایه شود.