Selanjutnya dirinya terpilih menjadi anggota DPR untuk Fraksi PDI-P.
Hanya saja, Gus Ipul memutuskan untuk keluar dari DPR dan PDI-P lalu berpindah haluan ke Partai Kebangkitan Bangsa (PKB) pada tahun 2001.
Karir politik Gus Ipul pun semakin cemerlang karena ditunjuk sebagai Sekjen PKB pada tahun 2002.
Ditambah dirinya juga sempat menjabat sebagai Menteri Negara Pembangunan Daerah Tertinggal selama satu periode di masa pemerintahan Presiden Susilo Bambang Yudhoyono.
Sayangnya akibat konflik internal, ia pun harus dicopot jabatannya sebagai Sekjen PKB dan menteri.
Selang beberapa tahun, Gus Ipul maju dalam Pilkada Gubernur dan Wakil Gubernur Jawa Timur dengan mendampingi Soekarwo.
Mereka pun berhasil menang dan terpilih selama periode 2008-2013.
Kemudian Gus Ipul dan Soekarwo pun kembali terpilih pada Pilgub periode 2014-2019.
Lalu pada tahun 2017, dirinya juga maju sebagai calon gubernur (cagub) dalam Pilgub mewakili PKB.
Dirinya pun berpasangan dengan Bupati Banyuwangi saat itu, Azwar Anas.
Namun Azwar Anas mengundurkan diri dengan mengembalikan mandatnya ke PDI Perjuangan.
Kemudian Putri Guntur Soekarno dipilih PDI-P untuk mendampingi Gus Ipul.
Gus Ipul pun kembali menjadi pejabat publik saat memenangkan Pilkada Walikota di Pasuruan Jawa TImur bersama dengan Adi Wibowo, wakilnya.
Rencana Reshuffle
Sebelumnya Presiden Joko Widodo (Jokowi) membuka kemungkinan adanya reshuffle atau perombakan Kabinet dalam waktu dekat.