Okulun temelleri 1914-1915 eğitim öğretim yılında, Fatih Numune Mektebi adıyla atılmıştır.

Kurum, eğitim tarihimiz içerisinde farklı dönemlerde çeşitli isimlerle hizmet vermiştir. 1917-1918 eğitim öğretim yılında Akşemseddin Numune Mektebi, 1922-1923 eğitim öğretim yılında ise On Birinci Mektep adını almıştır.

1948-1949 eğitim öğretim yılında okulun adı Yahya Efendi 2. İlkokulu, 1949-1950 eğitim öğretim yılında ise Muallim Yahya Efendi 2. İlkokulu olarak değiştirilmiştir.

1950-1951 eğitim öğretim yılında, okul Yavuz Selim İlkokulu bünyesine dâhil edilmiştir. 1956-1957 eğitim öğretim yılında yeniden bağımsız bir okul olarak yapılandırılan kurum, Tarık Us İlkokulu bünyesinde eğitim öğretim faaliyetlerini sürdürmüştür.

1957-1958 eğitim öğretim yılında ise günümüzde bulunduğu binaya taşınarak Muallim Yahya Efendi İlkokulu adıyla eğitim öğretime başlamıştır. Okul, uzun yıllar bu isimle faaliyetlerini sürdürmüş; 1995 yılına kadar, Okul Müdürü Veli Çelik yönetiminde eğitim vermeye devam etmiştir.

1995-1996 eğitim öğretim yılında okul, yeniden Yavuz Selim İlkokulu bünyesine katılmıştır. Bu tarihten sonra uzun süre bağımsız eğitim faaliyetlerine ara verilmiştir.

İstanbul Valiliğinin kararı doğrultusunda okul, 2016-2017 eğitim öğretim yılında Muallim Yahya İlkokulu adıyla yeniden açılmıştır. Okulun eğitim öğretime hazırlanması amacıyla Cevrikalfa İlkokulu sınıf öğretmenlerinden Ahmet Bahadır, kurucu müdür olarak görevlendirilmiştir.

Günümüzde okul; derslikleri, idari birimleri ve rehberlik hizmetleriyle öğrencilerine çağdaş eğitim ortamlarında hizmet vermekte, köklü eğitim geçmişini geleceğe taşımaya devam etmektedir.