Sejak muda Abdul Malik bin Marwan dikenal sebagai anak yang rajin, berakhlak sangat baik dan sederhana. Harinya-harinya diisi dengan belajar, menghafal Al-Qur’an dan hadis-hadis Nabi. Pada suatu hari ia didatangi oleh seorang ulama yang sangat pandai dalam berdebat. Namanya asy Sya’bi. Ia sering berdebat tentang ilmu agama dengan ulama-ulama terkenal di Madinah. Ia selalu memenangkan perdebatan. Satu kali ia berdebat dengan Abdul Malik bin Marwan. Ia sangat puas dengan jawaban-jawaban Abdul Malik bin Marwan. Lantas ia ketagihan dan selalu ingin berdebat dengan Abdul Malik. Sebagai ilmuan yang cukup beken di Madinah Abdul Malik tidak menolak kegemaran Asy Sya’bi.
Usut punya usut ternyata asy Sya’bi katagihan berdebat dengan Abdul Malik oleh karena ia sambil berguru kepadanya. asy Sya’bi berkata “Setiap aku berdebat dengan seseorang, aku tidak pernah dikalahkan, kecuali dengan Abdul Malik bin Marwan. Setiap kali aku berdebat dengannya, tentang hadis atau syair, ia menambah pengetahuanku”.
Lain lagi dengan pengakuan Ibnu ‘Umar (anak ‘Umar bin Khattab) katanya “Luar biasa ‘Abdul Malik, orang-orang lain dilahirkan sebagai kanak-kanak, tetapi Abdul Malik bin Marwan dilahirkan seperti bapak”.
Oleh karena hari-harinya mudanya digunakan belajar Al-Qur’an dan hadis di masjid, ia sangat pandai di kedua bidang tersebut dan menjadi ahli hukum di Madinah. Karena itu juga Abdul Malik bin Marwan mendapat julukan Merpati Masjid.