Negara sebagai entitas eksekutif (kiyan tanfidzi) yang menjalankan sekumpulan pemahaman (mafahim), standarisasi (maqayis) dan keyakinan (qana’at) yang diterima oleh umat, jelas membutuhkan lembaga peradilan. Selain lembaga ini merupakan satu-satunya lembaga yang bertugas menyampaikan keputusan hukum yang bersifat mengikat (Ibn Farhun, Tabshirat al-Hukkam, Juz I/12), keberadaan lembaga ini juga merupakan thariqah syar’iyyah (metode syariah) untuk menjaga keberlangsungan penerapan pemahaman (mafahim), standarisasi (maqayis) dan keyakinan (qana’at) di tengah-tengah umat. Karena itu, keberadaan lembaga ini hukumnya wajib.  Para fuqaha’ menyatakan, bahwa adanya peradilan ini hukumnya fardhu kifayah (Ibn Qudamah, al-Mughni, Juz IX/34).
Islam telah mensyariatkan adanya tiga kategori peradilan, sesuai dengan obyek masing-masing yang hendak diadili, yaitu qadha’ khushumat, hisbah dan madzalim (al-Farra’, al-Ahkam as-Sulthaniyyah, hal. 62-93 dan 285-308). Qadha’ khushumat (peradilan sengketa), yang mengadili sengketa di tengah masyarakat. Di sana ada pihak penuntut, yang menuntut haknya, dan terdakwa sebagai pihak yang dituntut. Peradilan ini membutuhkan mahkamah (ruang sidang). Sedangkan Qadha’ hisbah, yang mengadili pelanggaran hukum syara’ di luar mahkamah, bukan karena tuntutan pihak penuntut, tetapi semata-mata karena pelanggaran. Seperti pelanggaran lalu lintas, parkir di jalan raya, penimbunan barang, penipuan harga (ghabn) dan barang (tadlis), dan lain-lain. Adapun Qadha’ madzalim, yang mengadili sengketa rakyat dengan negara, dan atau penyimpangan negara terhadap konsitusi dan hukum.
Ketiga kategori peradilan ini, masing-masing mempunyai hakim. Seluruh lembaga ini kemudian dipimpin oleh seorang Ketua Hakim, yang lazim disebut Qadhi al-Qudhat. Jabatan ketua hakim ini pertama kali dibentuk oleh Khalifah Harun as-Rasyid, yang diserahkan kepada Qadhi al-Qudhat Abu Yusuf (182 H/798 M), mujtahid mazhab Hanafi, yang terkenal dengan karyanya, al-Kharaj (Dr. ‘Isham Muhammad Sabbaru, Qadhi al-Qudhat fi al-Islam, hal. 9).
Karena kedudukannya yang penting dan strategis, maka Islam tidak hanya mengatur mekanisme peradilannya, tetapi juga membersihkan para pemangkunya dengan berbagai kriteria yang ekstra ketat. Selain kriteria Muslim, baligh, berakal, merdeka, mampu dan adil (al-Kasani, Bada’i as-Shana’i, Juz VII/2-4), untuk jabatan tertentu, seperti Qadhi Qudhat dan Qadhi Madzalim, misalnya, tidak boleh dijabat oleh perempuan, karena merupakan bagian dari pemerintahan, dan atau bersentuhan langsung dengan pemerintahan. Bahkan, untuk Qadhi Madzalim harus  mujtahid (Zallum, Nidzam al-Hukmi fi al-Islam, hal. ). Selain itu, ada kriteria umum yang harus dimiliki oleh semua hakim, seperti tegas tetapi tidak kasar, lembut tetapi tidak lemah, cerdas, sadar, tidak lengah dan tertipu ketika memutuskan, bersih hatinya, wara’, bijak, jauh dari sikap tamak, baik terhadap materi maupun jabatan.. (Ibn Qudamah, al-Mughni, Juz IX/21).
Selain kriteria di atas, Islam juga menetapkan mekanisme yang jelas dalam pengangkatan qadhi. Karena qadhi ini adalah wakil Khalifah, maka Khalifahlah orang yang mengangkat qadhi (al-Mawardi, Adab al-Qadhi, Juz I/137). Meski, bisa juga pengangkatan tersebut didelegasikan kepada Qadhi Qudhat (Ibn Katsir, al-Bidayah wa an-Nihayah, Juz X/180). Dalam mengangkat mereka, baik Khalifah maupun Qadhi Qudhat akan memilih orang yang layak dan tepat. Untuk mengetahui mereka, bisa bertanya kepada para ulama, bisa juga melalui fit and proper test, agar bisa mengetahui kelayakan dan keadilannya (Ibn Qudamah, al-Mughni, Juz IX/38).
Dalam menjalankan tugasnya, mereka tidak sendiri, tetapi bisa dibantu oleh para pembantu (a’wan). Para pembantu qadhi ini ada dua: Pertama, mereka yang membantu qadhi dalam memberikan masukan, pandangan dan hukum. Mereka ini terdiri dari para fuqaha’, ulama dan orang-orang yang kredibel (ahl al-fadhl) (al-Mawardi, Adab al-Qadhi, Juz I/261-265). Kedua, mereka yang membantu administrasi dan teknis, seperti sekretaris, panitera dan lain-lain (Ibn Abi ad-Dam, Adab al-Qadhi, hal. 59-65). Dalam menjalankan tugasnya, Qadhi Qudhat-lah yang mengontrol mereka (as-Samnani, Raudhatu al-Qudhat, Juz I/120 dan 132). Sedangkan Qadhi Qudhat dan lembaga peradilannya diawasi dan dikontrol oleh Khalifah (Ibn Farhun, Tabshiratu al-Hukkam, Juz I/77). Meskipun, dalam mengambil keputusan, kedudukannya tetap independen, sebagaimana yang terjadi pada Qadhi Suraikh dan Khalifah Ali bin Abi Thalib dalam kasus baju besi. Meski Khalifah, di pengadilan Ali kalah dari orang Yahudi.
Agar dalam menjalankan tugasnya, qadhi tidak “masuk angin”, maka Islam telah menetapkan mekanisme yang tegas dan jelas terkait dengan profesi mereka. Pertama, Islam memberikan jabatan ini hanya kepada mereka yang layak dan ahli takwa, sebagaimana kriteria yang dijelaskan di atas. Kedua, Islam melarang mereka menyibukkan diri dalam aktivitas yang bisa melalaikan tugasnya, termasuk berbisnis dan sejenisnya (as-Samnani, Raudhatu al-Qudhat, Juz I/658). Ketiga, Islam juga melarang mereka menerima hadiah, hibah dan sejenisnya dari mereka yang mempunyai kepentingan dengan jabatannya. Keempat, Islam telah menetapkan gaji yang lebih dari cukup, sebagaimana yang ditetapkan Umar untuk para qadhinya, agar bisa konsentrasi pada tugasnya dan tidak tergoda dengan materi yang ditawarkan kepadanya (Ibn Qudamah, al-Mughni, Juz IX/37). Kelima, Islam menetapkan akhlak para qadhi, antara lain harus berwibawa, menjaga muru’ah (harga diri), tidak banyak berinteraksi dengan orang, senda gurau dengan mereka, menjaga ucapan dan tindak tanduknya (‘Abd al-Karim Zaidan, Nidzam al-Qadha’, hal. 55).
Selain ketentuan di atas, Islam juga menutup celah lahirnya para qadhi yang korup, melalui mekanisme peradilan yang fixed. Pertama, Islam menetapkan, bahwa keputusan peradilan bersifat mengikat (ilzam). Artinya, setiap keputusan yang telah ditetapkan oleh pengadilan harus dilaksanakan, tidak bisa digugat, apalagi diubah, hatta oleh qadhi yang sama. Pernah Umar membuat keputusan dalam satu kasus yang sama untuk orang yang berbeda dengan keputusan yang berbeda. Ketika, orang pertama yang diputuskan merasa bahwa keputusan yang diterima orang kedua lebih baik, dia pun mengajukan kembali kasusnya, dan minta keputusan sebagaimana orang kedua, maka dengan tegas Umar menyatakan, “Itu adalah keputusan yang sudah aku putuskan sebelumnya, dan ini adalah keputusanku yang baru.” Artinya, keputusan baru tidak bisa mengubah keputusan lama. Dari sini, maka Islam tidak mengenal peradilan banding. Karena sifat dari setiap keputusan itu mengikat. Dengan tidak adanya peradilan banding, berarti kepastian hukum dalam Islam jelas terjamin. Kedua, setiap perkara yang diajukan ke mahkamah harus segera diputuskan, tidak boleh ditangguh-tangguhkan, sehingga tidak terjadi penumpukan kasus. Dengan kedua mekanisme ini, maka siapapun yang berkepentingan di pengadilan tidak akan merasa dipimpong. Di sisi lain, celah orang untuk menyuap agar kasusnya segera diselesaikan juga tertutup. Karena selain penyuapnya tidak ada, qadhi yang disuap pun tidak bisa.
Namun, jika seluruh kriteria, mekanisme dan pintu di atas telah ditutup, tetapi praktik suap masih juga terjadi, maka hanya sanksi yang keras dan tegaslah yang bisa menghentikan mereka. Karena itu, Islam pun menetapkan sanksi ta’zir kepada mereka yang melakukan suap; baik penyuap (ar-rasyi), penerima suap (al-murtasyi) maupun perantara (ar-ra’is bainahuma)-nya. Rasul dengan tegas menyatakan, “Allah melaknat penyuap, penerima suap dan perantara tindak suap-menyuap.” (HR. at-Tirmidzi).

Sebelum menjadi khalifah, Umar bin Abdul Aziz, sebagaimana lazimnnya keluarga istana, hidup dalam kemewahan; pakaian yang dikenakannya pun halus; makanan yang dimakannya pun mewah. Ketika berjalan, semua orang akan mengenalnya, karena bekas yang ditinggalkannya menebarkar aroma Misk (wangi). Rambutnya yang selalu tersisir rapi, penampilannya perlente dan kren. Itulah seorang Umar bin Abdul Aziz sebelum menjadi khalifah. Namun, ketika menjadi khalifah, semua kenikmatan itu dia tinggalkan. Jabatan itu telah mengubah hidupnya. Ketika menjadi khalifah, justru dia bersikap zuhud, menjauhi kemewahan dan hiasan dunia. Dia sangat menghayati setiap rincian  tanggung jawabnya hingga bersikap keras pada diri dan keluarganya. Tampaknya, dia ingin menebus gaya hidupnya yang bergelimang harta dan kenikmatan sebelum menjadi khalifah, dengan kesederhanaan rakyatnya. Sampai, dia pun menolak menaiki kendaraan Khilafah untuk menghindari kebesaran dan kemewahan. Tidak hanya terhadap dirinya, istri dan anak-anaknya pun tak luput dari sikap yang sama (at-Thabari, Tarikh al-Umam wa al-Mulk, VI/552-553).
Semuanya itu bukan tanpa sengaja. Sikap, atau tepatnya pilihan kebijakannya itu berdampak besar pada Khilafah Umayyah ketika itu. Umar berkeyakinan, jika tekad dan komitmen dia sebagai penguasa Muslim tersebut benar dan lurus, disertai rasa tanggung jawab yang tinggi pada ummat Islam di hadapan Allah SWT, maka dia yakin akan mampu meluruskan berbagai kondisi menyimpang dan mengembalikan mereka yang melakukan pelanggaran ke jalan yang lurus. Di antaranya, dia mengembalikan baiat yang diperoleh melalui wiratsah (penunjukan) kepada kaum Muslim, selanjutnya dia meminta mereka untuk membaiat siapa saja yang mereka kehendaki dengan suka rela (bi ar-ridha wa al-ikhtiyar). Namun, mereka tetap menginginkan seorang Umar bin Abdul Aziz untuk menjadi Khalifah mereka.
Keyakinan, sikap dan kebijakannya itu diikuti dengan tindakan nyata. Umar bin Abdul Aziz jauh dari sikap sombong para penguasa (raja); zuhud terhadap kekuasaan, dan tidak bersikap tamak (ambisius). Boleh jadi, karena jabatan yang disandangnya, yaitu Khilafah itu mendatanginya, bukan dia yang mencari jabatan itu. Umar berhasil mengembalikan sosok para Khulafaur Rasyidin sebelumnya pada dirinya.
Dalam pidato pengangkatannya, dia menyatakan, “Wahai manusia, tidak ada Kitab setelah Alquran. Tidak ada Nabi setelah Muhammad SAW. Aku bukanlah hakim, tetapi hanya pelaksana. Aku bukanlah ahli bid’ah yang membuat perkara baru, tetapi hanya melanjutkan. Orang yang melarikan diri dari imam (penguasa) yang zalim, bukanlah zalim, kecuali imam yang zalim itulah justru orang yang melakukan maksiat. Ingat, tidak ada ketaatan kepada makhluk dalam melakukan maksiat kepada al-Khaliq.” Dalam riwayat lain dituturkan, “Aku bukanlah orang terbaik di antara kalian, tetapi aku adalah orang yang paling berat bebannya. Ingat, tidak ada ketaatan kepada makhluk dalam melakukan maksiat kepada al-Khaliq..” (Ibn Sa’ad, at-Thabaqat al-Kubra, V/340).