Okulun bulunduğu yapı, Fatih Sultan Mehmet’in İstanbul’u fethinden yaklaşık iki-üç yıl sonra, İncirli adıyla bilinen bir kişi tarafından medrese olarak inşa ettirilmiştir. Yapıyı yaptıran kişi hakkında günümüze ulaşan kesin bir belge bulunmamakla birlikte, bina uzun yıllar medrese olarak hizmet vermiştir. Sultan Abdülaziz döneminde ise padişahın Hassa Alayına tahsis edilmiştir.

Cumhuriyet’in ilanının ardından çıkarılan kanunlar doğrultusunda medrese ve vakıf yapılarının bir bölümü belediyeye devredilmiş, söz konusu bina da 1926 yılında İstanbul Belediyesi tarafından devralınarak bir süre temizlik işçilerinin ikametgâhı olarak kullanılmıştır.

Mahallede artan eğitim ihtiyacını karşılamak amacıyla bina, 1935-1936 eğitim öğretim yılında İstanbul Belediyesinden Millî Eğitime devredilmiş ve 68. İlkokul adıyla eğitim öğretime başlamıştır. İlk yılında üç derslikli olarak hizmet veren okul, 1945-1946 eğitim öğretim yılında 20. İlkokul ile birleştirilmiş ve ikili öğretim sistemine geçmiştir.

2 Eylül 1997 tarihinde, sekiz yıllık kesintisiz eğitim uygulaması kapsamında okul ilköğretim okulu statüsüne dönüştürülmüştür. Artan öğrenci sayısı nedeniyle farklı dönemlerde eğitim öğretim faaliyetleri Ahmet Rasim Lisesi ve Karagümrük İlköğretim Okulu binalarında da sürdürülmüştür.

Mevcut okul binası, yeniden inşa edilmek üzere 2006 yılında yıkılmış; bu süreçte öğrenciler geçici olarak farklı okul binalarında eğitimlerine devam etmiştir.

Yapımı tamamlanan modern okul binasıyla birlikte kurum, 2009-2010 eğitim öğretim yılında beş katlı yeni hizmet binasında eğitim öğretime yeniden başlamıştır.

Bugün okulu, köklü tarihî geçmişi ile çağdaş eğitim anlayışını bir araya getirerek öğrencilerini akademik, sosyal ve kültürel alanlarda geleceğe hazırlamayı sürdüren seçkin eğitim kurumlarından biri olarak faaliyetlerine devam etmektedir.