Strategi dan Standar Evaluasi Program

STRATEGI DAN STANDAR EVALUASI PROGRAM

            Evaluasi program pendidikan yang efektif merupakan cara yangs istematis untuk meningkatkan program pendidikan dan tindakan pelayanan pendidikan dengan cara melibatkan prosedur yang berguna, layak, etis, dan akurat. Kerangka direkomendasikan dikembangkan untuk memandu para profesionaldalam menggunakan evaluasi program. Kerangka ini dirancang untuk merangkum dan mengatur elemen-elemen penting dari evaluasi program. Kerangka kerja ini terdiri dari langkah-langkah dalam praktek evaluasi dan standar untuk evaluasi yang efektif(Non profit Developed Instuted: p.7 ). Kerangka kerja ini terdiri dari enam langkah yang harus diambil dalam evaluasi apapun. Ke enam langkah-langkahnya adalah sebagai berikut (Non profit Developed Instuted).

Langkah1: Engage Stakeholders (Melibatkan Stakeholder)

Stakeholder harus terlibat dalam penyelidikan untuk memastikan mengenai sudut pandang dari program yang dievaluasi sesuai dengan pemahaman mereka. Ketika stakeholder tidak terlibat, evaluasi tidak mungkin membahas unsur penting dari tujuan program, operasi, dan hasil. Oleh karena itu, hasil evaluasi dapat diabaikan, dikritik, atau bahkan ditolak karena evaluasi tidak mengatasi masalah para Stakeholder. Berikut adalah tiga kelompok utama dalam mengidentifikasi stakeholder:

1.        Mereka yang terlibat dalam operasi program

Orang atau organisasi yang terlibat dalam operasi program yang memiliki kepentingan mengenai bagaimana kegiatan evaluasi dilakukan karena program tersebut dapat dijadikan sebagai hasil dari apa yang dipelajari (misalnya, sponsor, kolaborator, mitra koalisi, pejabat pendanaan, administrator, manajer, dan staf)

2.        Mereka yang dilayani atau dipengaruhi oleh program (misalnya, klien, anggota keluarga, organisasi lingkungan, institusi akademik, pejabat terpilih, kelompok advokasi, asosiasi profesi, skeptis, lawan, dan staf dari organisasi terkait atau bersaing)

3.        Pengguna utama dari evaluasi

Pengguna utama dari evaluasi adalah orang-orang tertentu yang berada dalam posisi untuk melakukan atau memutuskan sesuatu mengenai program. Dalam prakteknya, pengguna utama akan menjadi bagian dari semua pemangku kepentingan yang diidentifikasi

Langkah 2: Describe The Program (Deskripsi Program)

Deskripsi program menjelaskan mengenai misi dan tujuan dari program yang sedang dievaluasi. Deskripsi harus cukup rinci untuk memastikan pemahaman tentang tujuan program dan strategi. Deskripsi program menetapkan kerangka acuan bagi semua keputusan selanjutnya dalam evaluasi. Aspek-aspek yang ada dalam deskripsi program adalah sebagai berikut:

1.     Kebutuhan à Ciri penting untuk menggambarkan kebutuhan program termasuk adalah besarnya masalah, populasi yang terpengaruh, apakah kebutuhan berubah, dan dengan cara apa kebutuhan berubah.

2.      Efek yang diharapkan à Deskripsi dari harapan yang menggambarkan bagaimana suatu program dianggap berhasil (efek program).

3.      Kegiatan à Menggambarkan kegiatan program, langkah-langkah spesifik, strategi, atau tindakan yang harus tersusun secara sistematis

4.      Sumber daya à Sumber daya termasuk dalam waktu, informasi, sarana prasarana, teknologi, biaya, dan aset lain yang tersedia untuk melakukan kegiatan-kegiatan program.

5.      Tahap Pengembangan à Tahap penegembangan meliputi perencanaan, pelaksanaan, dan efek program.

6.      Konteks à Deskripsi konteks program harus mencakup lata belakang dan pengaruh lingkungan (misalnya, sejarah, geografi, politik, kondisi sosial dan ekonomi, dan upaya organisasi terkait atau bersaing) di mana program beroperasi.

7.      Logic Model à Sebuah model logika yang menggambarkan tentang bagaimana program ini seharusnya bekerja, Sering, model ini ditampilkan dalam sebuah diagram alur, peta, atau tabel untuk menggambarkan urutan langkah-langkah yang mengarah ke hasil program

Langkah 3: Focus The Evaluation Design (Fokus Desain Evaluasi)

Evaluasi harus difokuskan untuk menilai isu-isu yang menjadi perhatian terbesar bagi para pemangku kepentingan saat menggunakan waktu dan sumber daya seefisien mungkin. Fokus evaluasi meliputi tujuan, pengguna, penggunaan, pertanyaan, metode, dan perjanjian.

1.      Tujuan à Mengutarakan tujuan evaluasi sebelum waktunya akan mencegah pengambilan keputusan tentang bagaimana evaluasi harus dilakukan. Evaluasi memiliki empat tujuan umum yaitu

a.       Mendapatkan informasi tentang

b.      Untuk mengubah praktik, yang sesuai dalam tahap implementasi program yang dibentuk ketika berusaha untuk menggambarkan apa yang telah dilakukan dan sejauh mana informasi tersebut dapat digunakan, untuk lebih menggambarkan proses program, untuk meningkatkan bagaimana program beroperasi, dan untuk menyempurnakan strategi program secara keseluruhan.

c.       Menguji hubungan antara kegiatan program dan konsekuensi yang diamati

d.      Melibatkan menggunakan proses penyelidikan evaluasi untuk mempengaruhi orang-orang yang berpartisipasi dalam penyelidikan

2.      Pengguna à Pengguna adalah orang-orang tertentu yang akan menerima temuan-temuan evaluasi

3.      Penggunaan à Penggunaan adalah cara tertentu di mana informasi yang dihasilkan dari evaluasi akan diterapkan.

4.      Pertanyaan à Pertanyaan menetapkan batas-batas untuk evaluasi dengan menyatakan apa aspek program akan dibahas.

5.      Metode à Metode untuk evaluasi diambil dari pilihan penelitian ilmiah, terutama yang dikembangkan dalam ilmu-ilmu sosial, perilaku, dan kesehatan. Sebuah klasifikasi jenis desain mencakup desain eksperimental, kuasi-eksperimental, dan observasional.

6.      Perjanjian à Perjanjian meringkas prosedur dan memperjelas peran dan tanggung jawab di antara mereka yang akan melaksanakan rencana evaluasi. Perjanjian menjelaskan bagaimana rencana evaluasi akan dilaksanakan dengan menggunakan sumber daya yang tersedia (misalnya, uang, tenaga, waktu, dan informasi)

Langkah 4: Gather Credible Evidence (Mengumpulkan Bukti yang Kredibel)

Evaluasi harus berusaha untuk mengumpulkan informasi yang akan menyampaikan gambaran yang menyeluruh dari program sehingga informasi dipandang sebagai sesuatu yang kredibel oleh pengguna utama evaluasi. Ketika para pemangku kepentingan yang terlibat dalam mendefinisikan dan mengumpulkan data yang mereka temukan kredibel, mereka akan lebih cenderung untuk menerima kesimpulan evaluasi dan untuk bertindak atas rekomendasinya. Aspek pengumpulan bukti yang biasanya mempengaruhi persepsi kredibilitas termasuk indikator, sumber, kualitas, kuantitas, dan logistik.

1.             Indikator à Indikator mendefinisikan atribut program yang berkaitan dengan fokus evaluasi dan pertanyaan.

2.             Sumber à Sumber disini merupakan bukti dalam evaluasi, yaitu orang-orang, dokumen, atau pengamatan yang menyediakan informasi untuk penyelidikan. Memilih berbagai sumber memberikan kesempatan untuk memasukkan perspektif yang berbeda mengenai program dan dengan demikian meningkatkan kredibilitas evaluasi.

3.             Kualitas à Kualitas mengacu pada kesesuaian dan mutu informasi yang digunakan dalam evaluasi. Data berkualitas tinggi yaitu data yang dapat diandalkan, valid, dan informatif.

4.             Kuantitas àKuantitas mengacu pada jumlah bukti yang dikumpulkan dalam suatu evaluasi. Jumlah informasi yang dibutuhkan harus diperkirakan terlebih dahulu, atau di mana proses berkembang yang digunakan, kriteria harus ditetapkan untuk memutuskan kapan harus berhenti mengumpulkan data.

5.             Logistik. Logistik mencakup metode, waktu, dan infrastruktur fisik untuk mengumpulkan bukti-bukti dan penanganan. Setiap teknik yang dipilih untuk mengumpulkan bukti harus disesuaikan dengan sumber, rencana analisis, dan strategi untuk menkomunikasikan temuan hasil evaluasi.

Langkah 5: Justify Conclusions (Perkuatlah Kesimpulan)

Kesimpulan evaluasi dianggap benar jika  terkait dengan bukti yang dikumpulkan dan dinilai sesuai dengan kesepakatan nilai-nilai atau standar yang telah ditetapkan oleh stakeholders. Membenarkan kesimpulan berdasarkan bukti meliputi standar, analisis dan sintesis, interpretasi, penilaian, dan rekomendasi.

1.      Standar à Standar mencerminkan nilai-nilai yang dipegang oleh stakeholder, dan nilai-nilai memberikan dasar untuk membentuk penilaian tentang kinerja program.

2.      Analisis dan Sintesis à Analisis dan sintesis temuan evaluasi ini mungkin mendeteksi pola dalam bukti, baik dengan mengisolasi temuan penting (analisis) atau dengan menggabungkan sumber informasi untuk mencapai pemahaman yang lebih besar (sintesis).

3.      Interpretasi àInterpretasi adalah upaya mencari tahu apa temuan yang berarti dan merupakan bagian dari upaya menyeluruh untuk memahami bukti yang dikumpulkan dalam suatu evaluasi.

4.      Penilaian à  Penilaian adalah pernyataan mengenai prestasi, nilai, atau makna dari program. Penilaian dibentuk dengan membandingkan temuan dan interpretasi mengenai program dengan standar yang ditetapakan sebelumnya.

5.      Rekomendasi à Rekomendasi adalah tindakan untuk dipertimbangkan akibat evaluasi.

Langkah 6: Ensure Use and Share Lesson Learned (Pastikan Penggunaan dan Pelajaran yang diperoleh)

Pelajaran dalam proses evaluasi tidak secara otomatis diterjemahkan ke dalam tindakan pengambilan keputusan dan sesuai informasi. Persiapan penggunaan melibatkan pemikiran strategis dan tetap waspada, yang keduanya dimulai pada tahap awal keterlibatan stakeholder dan terus berlanjut selama proses evaluasi. Lima elemen sangat penting untuk memastikan penggunaan evaluasi, termasuk desain, persiapan, feedback (umpan balik), follow up (tindak lanjut)

1.      Desain à Desain mengacu pada bagaimana pertanyaan-pertanyaan evaluasi, metode, dan proses keseluruhan dibangun. Proses pembuatan desain yang jelas akan menyoroti cara-cara stakeholders, melalui kontribusi mereka, dapat meningkatkan relevansi, kredibilitas, dan utilitas keseluruhan evaluasi.

2.      Persiapan à Persiapan mengacu pada langkah-langkah yang diambil untuk melatih penggunaan akhir hasil temuan evaluasi.

3.      Feedback à Umpan balik adalah komunikasi yang terjadi di antara semua pihak untuk evaluasi. Memberi dan menerima umpan balik menciptakan suasana saling percaya antara para pemangku kepentingan.

4.      Follow-Up à Tindak lanjut mengacu pada dukungan teknis dan emosional yang pengguna butuhkan selama evaluasi dan setelah mereka menerima temuan evaluasi

STANDAR EVALUASI (STANDARD EVALUATION)

Standar evaluasi diperlukan untuk menghidari kemungkinan adanya salah satu stakeholder atau evaluator yang tidak sinkron terhadap apa yang sudah dirumuskan sebelumnyya (subjektifitas dalam hasil evaluasi program).  Dalam evaluasi, standar evaluasi merupakan aspek penting dari setiap praktek evaluasi. Dengan adanya standar, dapat membantu memastikan bahwakomunikasi antara evaluator dan klien dapat berjalan secara efektif, dapat mencapai suatu pemahaman yang sama, jelas, saling mengenal kriteria yang harus dipenuhi dalam evaluasi. Tanpa adanya standar, kredibilitas prosedur evaluasi, hasil, atau pelaporan yang tersisa akan diragukan (tidak valid).

Ada beberapa fungsi spesifik dari standar evaluasi program, yaitu:

1.      Memberikan prinsip-prinsip umum tentang bagaimana mengatasi berbagai masalah dalam proses evaluasi

2.      Membantu memastikan bahwa evaluator akan menggunakan praktik terbaikpadabidangevaluasi yang tersedia.

3.      Memberikan arah untuk melakukan evaluasi perencanaan yang efisien dan termasuk pertanyaan evaluasi yang bersangkutan.

4.      Menyediakan konten utama untuk pelatihan dan pembimbingan evaluator dan peserta lain dalam proses evaluasi.

5.      Kehadiran evaluator dan konstituen mereka dengan bahasa yang sama untuk memfasilitasi komunikasi dan kolaborasi

6.      Membantu arsip evaluator dan memelihara kredibilitas di antara profesi lain

7.      Mendapatkan dan mempertahankan kredibilitas terhadap badan pengawasan publik dan klien

8.      Mendapatkan dan memelihara kepercayaan publik di bidang evaluasi

9.      Melindungi konsumen dan masyarakat dari praktek-praktek berbahaya atau merusak

10.  Menyediakan kriteria objektif untuk menilai dan memperkuat layanan evaluasi

11.  Memberikan dasar untuk akuntabilitas oleh evaluator

12.  Memberikan dasar untuk mengadili klaim malpraktek dan sengketa lainnya

13.  Menyediakan kerangka kerja konseptual dan definisi kerja untuk membantu panduan penelitian dan pengembangan evaluasi.

Dalam melaksanakan kegiatan Evaluasi Program seorang evaluator harus mengikuti kaidah dan prosedur tertentu agar evaluasi dapat berjalan baik sesuai standar evaluasi program. Standar evaluasi yang paling komprehensip dan rinci dikembangkan oleh Comittee on Standard for Educational Evaluation, Joint Comittee (1981) dalam Tayibanapis (8: 2000) menyebutkan bahwa 4 kategori standar evaluasi yaitu standart utility (kegunaan), feasibility (kelayakan), propriety (kesahihan) dan accuracy (ketepatan).

1.      Utility standard (Standar Utilitas/ Kegunaan (Utility standard)

Standar Utilitas ini untuk memastikan bahwa evaluasi akan menyajikan informasi yang sesuai dengan keperluan pemakai Standar utilitas (disingkat U) terdiri dari 7 komponen (U1-U7), sbb:

a.    Stakeholder Identification  (Identifikasi Stakeholder)

Pihak yang terlibat oleh evaluasi ini perlu diidentifikasi agar kebutuhan mereka dapat  tercakupi, sehingga evaluator mengetahui apa sesungguhnya yang dibutuhkan oleh stakeholders dari evalusi tersebut.

b.    Evaluator Credibility  (Kredibilitas Evaluator)

Seseorang yang melaksanakan evaluasi harus terpercaya dan kompeten sehinga hasil evaluasi mencapai kredibilatas dan penerimaan yang tinggi, ini sangat penting untuk diperhatikan, karena apabila standar kredebilitas evaluator sudah terpenuhi dengan baik, maka hasil dari sebuah evaluasi tersebut bisa digeneralisasi, dalam arti jika kondisi suatu program yang ingin dievaluasi sama, maka ketika standar yang telah ditetapkan terpenuhi semuanya, evaluator tersebut bisa menjadi tenar, dan tentunya banyak stakeholder yang ingin menggunakan jasanya dalam mengevaluasi program yang dibuat oleh Stakeholder.

c.    Information Scope and Selection (Seleksi & Ruang Lingkup Informasi)
Informasi yang didapat harus luas dan juga terseleksi untuk menjawab pertanyaan –pertanyaan yang berkaitan dengan program dan responsif terhadap kebutuhan klien dan stakeholder

d.   Values Identification (Identifikasi Nilai-Nilai)

Sudut pandang, prosedur dan alasan rasional yang digunakan untuk menginterpretasi temuan harus digambarkan secara hati-hati sehingga dasar untuk mempertimbangkan nilai-nilai menjadi jelas.

e.    Report Clarity (Kejelasan Pelaporan)

Laporan evaluasi harus jelas menggambarkan konteks, tujuan, prosedur dan temuan dari evaluasi sehingga informasi yang penting dapat dipaparkan dan mudah dimengerti.

f.     Report Timeliness and Dissemination (Penyebaran dan Ketepatan Waktu Pelaporan)

Seorang evaluator harus benar-benar menepati waktu dalam menyelesaikan pengevaluasian yang telah dilaksanakan, karena ini menunjukan keprofesisionalan atau tidaknya seorang evaluator.

g.    Evaluation Impact  (Dampak Evaluasi)

Evaluasi seharusnya direncanakan, dilaksanakan dan dilaporkan dengan cara yang membuat para stakeholder bisa menindaklanjuti dan menggunakan hasil evaluasi tersebut

2.      Feasbility Standards (Standar kelayakan)

Standar kelayakan dimaksudkan untuk memastikan bahwa evaluasi akan menjadi realistis, bijaksana, diplomatik, dan hemat. Standar kelayakanmeliputi:

1. Practical Procedures (Prosedur Praktis).

Prosedur evaluasi harus praktis, hal ini dimaksudkan untuk meminimalkan adanya gangguan dalam memperoleh informasi yang diperlukan.

2. Political Viability (Viabilitas Politik).

Evaluasi harus direncanakan dan dilakukan dengan mengantisipasi posisi yang berbeda dari berbagai kepentingan kelompok, agar dapat terjalin kerjasama yang baik sehingga dapat meminimalisir kesenjangan antar kelompok dan penyalahgunakan hasil evaluasi.

3. Cost Effectiveness (Efektivitas Biaya).

Evaluasi harus memberikan informasi yang mutunya cukup mewakili sumber-sumber yang ada.

3.      Propriety Standard (Standar Kepatutan)

Suatu evaluasi harus memenuhi kondisi kepatutan. Harus didasarkan pada kejelasan, perjanjian tertulis mendefinisikan kewajiban evaluator dan klien untuk mendukung dalam pelaksanaan evaluasi. Standar Kepatutan diinginkan untuk meyakinkan agar evaluasi terlaksana secara secara legal, etis dan dengan mempertimbangkan ketentraman pihak-pihak yang terlibat dan terpengaruh kegiatan evaluasi. Berikut hal-hal yang harus diperhatikan dalam standar kepatutan:

a.       Service Orientasi (Orientasi Pelayanan)

Evaluasi seharusnya didesain untuk membantu organisasi dalam melayani kebutuhan anggota secara luas.

b.      Formal Agreement (Perjanjian Formal)

Kewajiban masing-masing pihak terhadap evaluasi harus disetujui secara tertulis.

c.       Right of Human Subject  (Hak Asasi Subjek)

Evaluasi wajib didesain dan dilaksanakan dengan menghargai dan menjaga hak-hak asasi dan ketentraman orang-orang yang terlibat.

d.      Human Interaction  (Interaksi yang manusiawi)

e.       Complete and Fair Assesment  (Penilaian yang lengkap dan jujur)

Evaluator harus adil dalam menyelidiki dan mencatat kelebihan dan kekurangan dari program

f.       Disclosure of Finding  (Pengungkapan Temuan)

g.      Conflict of Interest (Konflik Kepentingan)

Konflik kepentingan harus ditangani secara terbuka dan jujur sehingga tidak berkompromi dengan proses dan hasil evaluasi

h.      Fiscal Responsibility  (Tanggung jawab fiskal)

4.      Accuracy Standards (Standar Akurasi)

Standar akurasi dimaksudkan untuk memastikan bahwa evaluasi akan mengungkapkan dan menyampaikan informasi teknis yang memadai tentang objek yang dievalusi serta kegunaan atau manfaatnya. Standar akurasi meliputi:

1. Object Identification (Identifikasi Objek)

Objek evaluasi harus dipelajari dengan sungguh-sungguh, sehinnga setiap komponen dalam program dapat diidentifikasi dengan jelas.

2. Context Analysis (Analisis Konteks).

Konteks pelaksanaan program harus diperiksa secara rinci, sehingga dapat mengidentifikasi hal-hal yang mungkin mempengaruhi program.

3. Describe Purpose and Procedure (Menjelaskan Tujuan dan Prosedur)

Tujuan dan prosedur evaluasi harus dimonitor dan dijelaskan secara rinci, sehingga dapat diidentifikasi dan dinilai.

4. Defensible Information Source (Mempertahankan Sumber Informasi)

Sumber informasi yang digunakan dalam evaluasi program harus dijelaskan secara detail, sehingga kecukupan informasi dapat dinilai.

5. Valid Measurement (Validitas Pengukuran).

Instrument dan prosedur pengumpulan informasi harus dipilih, dikembangkan dan diimplementasikan agar validitasnya terjamin.

6. Reliabel Measurement (reliabilitas Pengukuran).

Instrument dan prosedur pengumpulan informasi harus dipilih, dikembangkan dan diimplementasikan agar peliabilitasnya terjamin.

7. Systematic and Control (Sistematik dan kontrol)

Informasi yang dikumpulkan kemudian  diproses, dilaporkan, direview dan diperbaiki agar hasil evaluasi dapat diterima.

8. Analysis of Quantitative (Analisis Kuantitatif)

Informasi kuantitatif dalam suatu evaluasi harus dianalisis secara tepat dan sistematis.

9. Analysis of Qualitative (Analisis Kualitatif)

Informasi kualitatif dalam suatu evaluasi harus dianalisis secara tepat dan sistematis.

10. Justified Conclutions (Pembenaran Kesimpulan)

Kesimpulan yang dicapai dalam evaluasi harus secara eksplisit dibenarkan, sehingga stakeholder dapat memberikan penilaian untuk mengambil keputusan.

11. Objective Reporting (Objektivitas Pelaporan)

Prosedur pelaporan harus waspada terhadap gangguan yang disebabkan oleh subjektivitas dan bias dari setiap hal yang menyangkut evaluasi, sehingga laporan evaluasi mencerminkan temuan evaluasi.

12. Metaevaluation (Meta evaluasi).

Evaluasi itu sendiri harus secara formatif dan sumatif dievaluasi terhadap  standar terkait lainnya, sehingga pelaksanaanya dengan tepat dipandu dan pada saat penyelesaian stakeholder dapat memeriksa kekuatan dan kelemahan program.

DAFTAR PUSTAKA

Arikunto, Suharsimi dan Cepi Safruddin AJ. (2008). Evaluasi Program   Pendidikan. Jakarta : Bumi Aksara.

Jodi L. Fitzpartrick, James R. Sanders, Blaine R. Worthen. 2011. Program Evalution Alternative Approaches and Practical Guidelines, United States: Pearson.

Nonprofit Developement Institute, Inc. Program Evaluation A Primer for Nonprofit Organization. www.phsc-inc.com/resources/EvaluationPrimer[1].pdf.  diakses pada 19 Maret 2013

Tayibnafis, Farida Yusuf, (2000), Evaluasi Program, Jakarta: Rineka Cipta.

http://catatannana.blogspot.com/2010/11/standar-evaluasi-program.html diakses pada 19 Maret 2013

http://hepimakassar.wordpress.com/2012/04/29/standar-evaluasi-program/ diakses pada 19 Maret 2013