1978 yılında dünyaya gelen Abdullah Yılmaz Karadeniz Teknik Üniversitesi Beden Eğitimi Spor Yüksek Okulu mezunudr.
Babası Azmi Yılmaz’da Abdullah Yılmaz gibi eski klasman hakemliği yapmıştır. İlk etapta memleketi Trabzon’da yönettiği amatör karşılaşmalar ile tecrübe edinen Yılmaz aslen Trabzon’ludur.
Eşi bankacı olan Abdullah Yılmaz’ın bu evliliğnden Asya isminde bir kızı vardır. 2018 yılında Merkez Hakem Kurulu Başkanı Yusuf Namoğlu tarafından karşı takımı kolla diye tehdit edildiğini bunun üzerine mesleğinden istifa ettiğini açıklamıştır.
