Ordu İdadisinin ilk kısmından ayrılan Hamdullah Suphi Bey Okulu 1922 yılında açılmıştır. 1930 yılında Hamdullah Suphi Bey Okulunun öğrencisi fazla olduğundan aynı okulun arkasında, Saray mahallesinde Murat Yaşar'ın evinin önündeki eski Rüştiye sonradan Ana mektebi olarak kullanılan binada üç dershaneli olarak 1930 yılında Gazi İlkokulu adıyla açılmıştır.

       1931 yılında Hamdullah Suphi bey Okulu ile birleştirilerek Gazi İlkokulu adıyla tek okul haline gelmiştir.1934-1935 Eğitim-Öğretim yılında bütün okula Gazi İlkokulu adı verilmiştir. 1938 yılında Gazi İlkokulu binası yerine Hükümet binası yapıldığından Gazi İlkokulu da geçici olarak Düz Mahalledeki şimdiki 19 Eylül İlköğretim Okulu'na nakledilmiştir.

       1939 depreminde 19 Eylül İlkokulu da hasara uğradığından Gazi İlkokulu, Zaferi Milli Mahallesi'ndeki Cumhuriyet İlkokulu'na taşınmıştır. Bir sene bu okulda eğitim-öğretim sürdürülmüştür.

       Depremden zarar gören 19 Eylül İlkokulu'nun tamiri yapıldıktan sonra Gazi İlkokulu tekrar 19 Eylül Okuluna taşınmıştır.

       Eski Gazi İlkokulu binası Kız İlköğretim Okulu'nun yatakhanesiydi. 1939 depreminde zarar gören binanın tamiri yapılarak eğitim-öğretime hazır hale getirildi.

       1949-1950 Eğitim-Öğretim yılında Gazi İlkokulu bu binaya taşındı. Bu tarihten sonra aynı binada eğitim-öğretim çalışmalarına devam edilerek Türk Milli Eğitimine hizmet verildi.

       1998 yılından itibaren 8 yıllık kesintisiz eğitime geçildi. Gazi İlköğretim Okulu adını aldı. 2003-2004 Eğitim-Öğretim yılı ortasında bu günkü yeni binaya taşındı.