Madrasah Aliyah Negeri (MAN) 2 Kota Cilegon adalah perubahan nama dari Madrasah Aliyah Negeri Pulomerak Kota Cilegon. Madrasah Aliyah Negeri Pulomerak merupakan perubahan status dari Madrasah Al-Khairiyah Gerem. Kemudian pada tanggal 31 Oktober 1995 berdasarkan SK Menteri Agama Republik Indonesia Nomor 5015 A dengan Nomor Statistik Madrasah 311280605002 berubah menjadi Madrasah Aliyah Negeri yang diresmikan oleh Bupati Serang dan dihadiri Kepala Kantor Wilayah Departemen Agama Propinsi Jawa Barat dan Kepala Kantor Departemen Agama Kabupaten Serang.

          Pada saat dimana kegiatan belajar mengajar dimulai setelah menjadi status negeri, MAN Pulomerak masih menggunakan fasilitas madrasah milik Yayasan Al-Khairiyah Gerem. Kemudian pada tahun 1998 MAN Pulomerak pindah lokasi ke Madrasah Ibtidaiyah Bujanggadung yang berlokasi di jalan Puskesmas Rawaarum lingkungan Bujanggadung Kelurahan Rawaarum Kecamatan Grogol.

          Akhirnya pada tahun ajaran 2001/2002 MAN Pulomerak berpindah lokasi kembali ke gedung milik sendiri di jalan Puskesmas Rawaarum Lingkungan Bujanggadung Kelurahan Rawaarum Kecamatan Grogol Kota Cilegon yang dibangun  dengan sumber dana dari APBN dan Komite Madrasah tahun anggaran 2001 sebanyak 10 ruang belajar.

          Pada tanggal 18 November 2015 berdasarkan Keputusan Menteri Agama Republik Indonesia Nomor 371 Tahun 2015 tentang Perubahan Nama Madrasah Aliyah Negeri, Madrasah Tsanawiyah Negeri dan Madrasah Ibtidaiyah Negeri di Provinsi Banten, maka Nama Madrasah Aliyah Negeri Pulomerak Kota Cilegon berubah nama menjadi Madrasah Aliyah Negeri 2 Kota Cilegon.