Tahun berdirinya bangunan sekolah yang terletak di Jalan Kartini ini masih belum dapat diketahui secara pasti. Tetapi beberapa sumber menyebutkan bahwa bangunan SMPN 1 Kota Madiun ini pada zaman Belanda digunakan sebagai sekolah MULO (Meer Uitgebreid Lagere Onderwijs). MULO merupakan sekolah pada masa Hindia Belanda yang sekarang setara dengan Sekolah Menengah Pertama (SMP). Sekolah ini menggunakan bahasa Belanda sebagai bahasa pengantar dan pada masa akhir kekuasaan Belanda telah terdapat di banyak kota di Jawa.

Pada zaman Belanda, sekolah ini adalah satu-satunya yang terdapat di Karesidenan Madiun. Pendirian MULO disambut gembira oleh kaum Indo-Belanda dan mereka yang tidak sanggup menyekolahkan anaknya ke HBS yang mahal dan mempersiapkan mereka untuk bekerja di kantor. Selain itu keberadaan MULO juga dipandang sebagai salah satu cara mengatasi banyaknya drop out di HBS.

Selepas penjajahan Belanda, sekolah ini mengalami beberapa perubahan nama. Pada masa Jepang, sekolah ini berganti menjadi Madiun Syuu Shuto Chugako yang artinya Sekolah Menengah Tingkat Permulaan di Madiun. Pada peristiwa Madiun tahun 1948 sekolah ini disebut menjadi tempat berkumpulnya kelompok-kelompok pelajar dan masyarakat yang anti komunis. Oleh karena itu, sekolah ini pun menjadi sasaran teror dengan banyaknya spanduk-spanduk PKI yang dipasang di depan sekolah.

Kini, hari jadi sekolah itu diperingati setiap tanggal 18 September. Peringatan itu berdasarkan pada dokumen atau arsip buku induk siswa yang pertama pada masa kepemimpinan Puro Martodipuro sebagai kepala sekolah pada tahun 1942-1943.

Setelah sekian lama, dari zaman MULO hingga kini, sekolah itu telah melahirkan banyak alumni. Beberapa di antaranya memiliki peranan yang penting dalam berbagai bidang. Yang bisa kita sebut pertama adalah Sjafruddin Prawiranegara, pimpinan Pemerintahan Darurat Republik Indonesia (PDRI) di Bukittinggi Sumatera Barat. Ketika ayahnya ditugaskan di Pengadilan di Ngawi, Sjafrudin bersekolah di MULO Madiun, melanjutkan pendidikan Europeesche Lagere School (ELS) sebelumnya di Serang Banten.

Alumni MULO Madiun lainnya adalah Roosseno Soerjohadikoesoemo, ahli teknik sipil yang dikenal sebagai Bapak Beton Indonesia. Dia bersekolah di MULO Madiun pada tahun 1922-1925, setelah sebelumnya menyelesaikan pendidikan ELS di Yogyakarta. Setelah lulus dari MULO dia melanjutkan pendidikannya di AMS B fogyakarta (1928), Civil Engineering (Mei 1932), dan Technische Hoogeschool Bandung.

Dalam bidang pemerintahan, Roosseno pernah menjabat sebagai Menteri Pekerjaan Umum dan Tenaga (1953), Menteri Perhubungan (1954), dan Menteri Perekonomian (1955). Sebagai ahli teknik sipil beberapa karyanya adalah Pelabuhan Bitung Manado, Pelabuhan Tanjung Priok, Gedung Bak Indonesia, Gedung Pola dan Kubah Masjid Istiqlal, Kompek Asian Games Senayan, Jembatan Semanggi dan banyak gedung lainnya.