Pada 2005 ia mencalonkan menjadi wakil bupati berdampingan dengan Moch Salim dan terpilih menjadi Wakil Bupati Rembang pada periode 2005-2010.
Selepas menjabat sebagai wakil bupati, Yaqut Cholil kemudian diberi tanggung jawab untuk memimpin organisasi sayap kepemudaan dari NU, yakni GP Ansor pada masa periode 2011-2015.
Di waktu yang hampir sama, 2012-2017, Yaqut Cholil menjadi Wakil Ketua DPW PKB Jawa Tengah.
Pada Pemilu 2014, Yaqut Cholil mencalonkan Anggota DPR RI dari dapil Jawa Tengah tetapi gagal.
Saat Hanif Dhakiri dilantik menjadi Menteri Tenaga Kerja di Kabinet Kerja, Yaqut Cholil dilantik menjadi Anggota DPR-RI periode 2014-2019.
Ia kemudian terpilih kembali sebagai Anggota DPR RI periode 2019-2024.
22 Desember 2020, diumumkan bahwa Yaqut Cholil diangkat menjadi Menteri Agama dalam Kabinet Indonesia Maju Presiden Joko Widodo.***