Beliau lahir tahun 471 H di Jiilan dan Kemudian di masa mudanya beliau pergi ke Baghdad dan belajar dari al-Qadhy Abi Sa'd al-Mukhorromy. Beliau pun banyak meriwayatkan hadits dari sejumlah ulama pada masa itu di antaranya; Abu Gholib al-Baqillany dan Abu Muhammad Ja'far as-Sirraj.
Syekh 'Izuddin bin Abdissalam mengatakan: "Tidak ada seorangpun yang karamahnya diriwayatkan secara mutawatir kecuali Syekh Abdul Qadir Jiilany." Syekh Nuruddin asy-Syathonufy al-Muqry mengarang sebuah buku yang menjelaskan tentang sirah dan karamah beliau dalam 3 jilid, dalam buku tersebut dikumpulkan semua berita yang berkaitan dengan syekh baik itu berita yang benar, palsu maupun hanya cerita rekaan.
Di antara cerita yang terdapat dalam buku tersebut adalah sebuah kisah yang diriwayatkan dari Musa bin Syekh Abdul Qadir al-Jilany ia berkata: Aku mendengar ayahku bercerita: Pada suatu waktu, ketika aku sedang berada dalam perjalanan di sebuah gurun. Berhari-hari lamanya aku tidak menemukan air, dan aku sangat kehausan. Tiba-tiba ada awan yang melindungiku dan turun darinya setetes air kemudian aku meminumnya dan hilang rasa dahagaku, kemudian aku melihat cahaya terang benderang, tiba-tiba ada suara memanggilku, "Wahai Abdul Qodir, Aku Rabbmu dan Aku telah halalkan segala yang haram kepadamu." Maka Abdul Qodir berkata: "Pergilah wahai engkau Syetan terkutuk." Tiba-tiba berubah menjadi gelap dan berasap, kemudian ada suara yang mengucapkan: "Wahai Abdul Qodir, engkau telah selamat dariku (syetan) dengan amalmu dan fiqihmu." Demikian sedikit kisah tentang Abdul Qodir.
Syekh Abdul Qadir memiliki 49 orang anak, 27 di antaranya adalah laki-laki. Beliaulah yang mendirikan tariqat al-Qadiriyah. Di antara tulisan beliau antara lain kitab Al-Fathu Ar-Rabbani, Al-Ghunyah li Thalibi Thariq Al-Haq dan Futuh Al-Ghaib. Beliau wafat pada tanggal 10 Rabi?ul Akhir tahun 561 H bertepatan dengan 1166 M pada saat usia beliau 90 tahun.
Adapun penyebab kenapa begitu banyak orang di zaman sekarang yang mengagungkan beliau, adalah karena beliau termasuk orang yang sholih dan banyak karomahnya. Hanya saja kebanyakan dari mereka bersikap berlebih-lebihan dalam hal tersebut (al-Ghulu) dan menempatkan beliau di atas derajat para Nabi. Tentunya hal tersebut adalah perbuatan yang dilarang. (Tarikhul Islam Lidz-Dzahaby tahun 561-570 H, Siyar A'lam an-Nubala' 20/439-451) (Galafath)