Gazi Cafer Paşanın Ataları Horasan Türklerindendir. Ataları daha sonra Bağdat’a göç etmişler. Cafer Paşa Bağdat Kazimiye Mahallesi 17 numaralı evde dünyaya gelmiştir. Bu mahalle Hz. Ali’nin torunu Musa Kazım’ın adını taşımaktadır.