Tantangan utama pengembang instrumen berupa tes adalah bagaimana cara atau prosedur mengembangkannya dan bagaimana cara memenuhi validitas dan reliabilitasnya. Buku ini menjelaskan langkah pengembangan tes beserta pemenuhan validitas secara teroretik dan secara empirik. Pemenuhan validitas secara teoretik dapat dipenuhi dengan kaidah validitas isi/kurikuler jika akan mengukur kompetensi peserta didik yang berkaitan dengan kompetensi yang ditargetkan di dalam kurikulum. Sementara, untuk memenuhi validitas spesifik seperti kemampuan berpikir kritis atau berpikir kreatif harus mengikuti pemenuhan validitas konstruk. Vaaliditas isi atau konstruk dapat ditindaklanjuti dengan pemenuhan validitas muka dengan cara melibatkan pakar untuk menelaahnya. Validitas secara empiris dengan menggunakan validitas yang berkaitan dengan kriteria diperlukan adanya tes standar atau tes yang memiliki daya prediksi tinggi. Ketidaksediaan kedua jenis tes tersebut menjadi penghalang. Oleh karena itu, dalam buku ini diterangkan cara mendekatinya melakukan analisis item menggunakan pendekatan IRT. Dalam hal ini digunakan program Quest yang mampu menganalisis data skala dikotomus dan politomus. Reliabilitas juga harus menjadi perhatian, pemenuhan reliabilitas tes prestasi harus menggunakan indek Kappa atau indek persetujuan. Jadi tidak menggukana indek Kuder-Richardson atau indek alpha Cronbach. Hal ini juga diterangkan dalam buku ini.