Okulun temelleri, İstanbul Valiliği İl Özel İdaresi tarafından 1927 yılında atılmış ve bina inşaatına başlanmıştır. Yapımı 1932 yılında tamamlanan okul, Eylül 1932’de Üsküdar 40. Mektebi adıyla eğitim öğretime açılmıştır. Okulun mimarı, kayıtlarda yalnızca “M.Y.” harfleriyle belirtilmektedir.

Diploma ve sınıf geçme defterlerindeki kayıtlara göre okulun adı, 1935-1936 eğitim öğretim yılında Beykoz 40. Mektebi olarak değiştirilmiştir. Daha sonra, 1948-1949 eğitim öğretim yılında, ünlü gazeteci ve yazar Ahmet Mithat Efendi’nin bölgede yaşamış olması nedeniyle okulun adı Ahmet Mithat Efendi İlkokulu olmuştur. Okulun adından dolayı Ahmet Mithat Efendi tarafından yaptırıldığı düşünülse de bu bilgi gerçeği yansıtmamaktadır.

Binaya 1970 yılı Ekim ayında kalorifer sistemi, 1975 yılında ise elektrik tesisatı döşenmiştir. 1932 yılından günümüze kadar binanın iç ve dış mimarisinde önemli bir değişiklik yapılmamış, yapı özgün hâliyle korunmuştur.

Okul, 1992-1993 eğitim öğretim yılı sonuna kadar ilkokul olarak hizmet vermiştir. Kayıtlara göre 1929-1997 yılları arasında toplam 5.808 mezun vermiştir. 1997-1998 eğitim öğretim yılında ise sekiz yıllık kesintisiz eğitim uygulaması kapsamında ilköğretim okuluna dönüştürülmüştür.

İstanbul İl Özel İdaresi tarafından 24 Temmuz 2013 tarihinde restorasyon kapsamına alınan okul, çalışmalar süresince Barbaros Hayrettin Paşa Teknik ve Endüstri Meslek Lisesi bahçesindeki prefabrik binada eğitim faaliyetlerini sürdürmüştür. Restorasyonun tamamlanmasının ardından 2017 yılında yeniden tarihî binasına taşınmıştır.

2012-2013 eğitim öğretim yılında Ahmet Mithat Efendi İlkokulu ve Ortaokulu olarak hizmet veren okul, 6287 sayılı Kanun kapsamında eğitim kurumlarının yeniden yapılandırılması doğrultusunda, İstanbul Valiliğinin 13.05.2013 tarih ve 47213048-105.01/57047 sayılı onayı ile Ahmet Mithat Efendi İlkokulu olarak dönüştürülmüş ve 2013-2014 eğitim öğretim yılından itibaren ilkokul olarak hizmet vermeye devam etmiştir.

Ayrıca, 1800’lü yıllarda Beykoz’da Çeşme Meydanı karşısında faaliyet gösteren Cezayirli Ahmet Paşa Mektebine ait bazı belgelerin günümüzde okul arşivinde bulunduğu bilinmektedir.