Mevlana İlkokulu, ilk defa şimdiki Mehmet Akif İlkokulu – Ortaokulu bahçesinde Erbaa’nın üçüncü okulu olarak “Üçüncü Okul” adıyla 1943 – 1944 öğretim yılında açıldı. Bina olarak Amerikan barakası denilen sacdan bir bina idi. Okulun ismi 1949 – 1950 yılında İnönü İlkokulu olarak değiştirildi. 1952 – 1953 Öğretim yılında ise Mithat Paşa İlkokulu adı verildi. Yıkılmadan önceki eski binası 1973 – 1974 öğretim yılında Erbaa Lisesi olarak açılmış fakat yeni lise binası tamamlanınca taşınan lise yerine Mithat Paşa İlkokulu gelmiştir. Eski Mithat Paşa ilkokulunun yerine de Mehmet Akif İlkokulu açılmıştır. (1980)
1997 – 1998 öğretim yılından itibaren sekiz yıllık ilköğretim uygulamasına başlanmış ve adı  Mithat Paşa İlköğretim Okulu olmuştur. 2012 yılında ise ismi Mevlana İlköğretim okulu olarak tekrar değiştirilmiştir. 2013 – 2014 öğretim yılında ise ortaokulun bünyesinden ayrılmasıyla birlikte Mevlana İlkokulu adını almıştır. Mevlana İlkokulu Yık-Yap projesi kapsamında 2019 yılında yıkılmış ve yerine 5 katlı 12 derslikli yeni okul binası yapılmıştır. İnşaat süresi boyunca (5 yıl) Mevlana Ortaokulu binasında ikili eğitim görmüş ve 2025-2026 Eğitim Öğretim yılı başında yeni okul binasına taşınarak normal eğitime geçilmiştir.