Pada usia tersebut, Mbah Maimun meninggalkan kampung halamannya di Rembang, Jawa Tengah menuju Mekkah, Arab Saudi untuk belajar mengaji.
Ia berada di bawah bimbingan Sayyid Alawi bin Abbas al-Maliki, Syekh al-Imam Hasan al-Masysyath, Sayyid Amin al-Quthbi, Syekh Yasin Isa al-Fadani, Syekh Abdul Qodir al-Mandaly dan beberapa ulama lain.
Baca: Jenazah KH Maimun Zubair Tak Dipulangkan ke Indonesia, Presiden Jokowi Terbang ke Mekkah
Baca: Meninggal Dunia di Makkah, Ini 5 Fakta Mbah Moen,Ulama dan Politisi yang Disegani Jokowi dan Prabowo
Mbah Moen adalah putra ulama Kiai Zubair. Ayahnya merupakan seorang alim dan faqih, murid dari Syaikh Saíd al-Yamani serta Syaikh Hasan al-Yamani al-Makky.
Selain di Tanah Suci, Mbah Maimun juga belajar mengaji di sejumlah pesantren di tanah Jawa, di antaranya Pesantren Lirboyo, Kediri, di bawah bimbingan Kiai Abdul Karim.
Saat berguru di Lirboyo, ia juga mengaji kepada Kiai Mahrus Ali dan Kiai Marzuki.
Mbah Maimun merupakan kawan dekat dari Kiai Sahal Mahfudh, yang sama-sama santri kelana di pesantren-pesantren Jawa, sekaligus mendalami ilmu di tanah Hijaz.
Selain itu, Mbah Maimun juga mengaji ke beberapa ulama di Jawa.
Para ulama itu di antaranya Kiai Baidhowi, Kiai Ma'shum Lasem, Kiai Bisri Musthofa (Rembang), Kiai Wahab Chasbullah, Kiai Muslih Mranggen (Demak), Kiai Abdullah Abbas Buntet (Cirebon), dan Syekh Abul Fadhol Senori (Tuban).
Hingga akhirnya Mbah Moen dikenal sebagai seorang alim, faqih, sekaligus muharrik (penggerak).
Ia kerap menjadi rujukan ulama Indonesia dalam bidang fiqh karena menguasai secara mendalam ilmu fiqh dan ushul fiqh.
Kitab-kitab yang pernah ia tulis, seperti Al-Ulama Al-Mujaddidun, menjadi rujukan para santri.
Pada 1965, Mbah Moen mulai mengembangkan Pesantren Al Anwar, Sarang, Rembang, Jawa Tengah.
Pesantren ini menjadi rujukan santri untuk belajar kitab kuning dan mempelajari turats secara komprehensif.
Kini, Mbah Moen, kelahiran 28 Oktober 1928, telah berpulang.
Ia meninggal dunia saat tengah menjalankan ibadah haji.