وفي تقرير للصحيفة البريطانية، قالت زوجته الصغرى زليقة، وهي أم لـ11 من أولاده: "لم يعد لدي المزيد من الأطفال. لقد رأيت الوضع المالي السيئ وأنا الآن أتناول حبوب منع الحمل". ويعيش حوالي ثلث أطفال الأوغندي، الذين تتراوح أعمارهم بين ستة أعوام و51 عاماً، معه في مزرعته. وتشهد عائلته هوة كبيرة في أعمارهم، فابنه الأكبر يكبر زوجته الصغرى بـ21 عاماً. ويقول إنه بينما يستطيع التمييز بين أبنائه وأحفاده إلا أنه لا يعرفهم جميعاً بالاسم.
تزوج للمرة الأولى عام 1971 حين كان عمره 16 عاماً بعد ترك المدرسة، وأصبح أباً لأول مرة بعد عامين. وبعدما أصبح رئيساً لقريته، قرر توسيع أسرته بالزواج من المزيد من النساء، لأنه كان يمتلك المال والأرض. وقال: "لقد تأكدت من توفير المعاول لكل منهم لحرث الأرض وإنتاج الغذاء الكافي لدعم الأسرة لأن التربة خصبة". ومع ذلك طلب المزارع الأوغندي من حكومته المساعدة على تعليم أبنائه، مشيراً إلى أن تكاليف المعيشة أصبحت مكلفة جداً بالنسبة له.