Kurumun tarihi 1865 yılına uzanmakta olup eğitim faaliyetlerine “İptidai Mektebi” olarak başlanmıştır. 1926 yılında kurum “14. Mektep” adıyla eğitim öğretim faaliyetlerini sürdürmüştür.

Günümüzde kullanılan okul arsası, 1957 yılında Saime Altunigil tarafından bağışlanmıştır. Yeni okul binası 1958-1959 eğitim öğretim yılında “Altunizade İlkokulu” adıyla hizmete açılmıştır.

1991 yılında Korkut Özal tarafından annesi Hafize Özal adına ek bina yaptırılmış, bu gelişmenin ardından kurumun adı “Altunizade Hafize Özal İlköğretim Okulu” olarak değiştirilmiştir.

6287 sayılı Kanun kapsamında gerçekleştirilen eğitim sistemi düzenlemesi doğrultusunda kurum, 2012-2013 ve 2013-2014 eğitim öğretim yıllarında aynı yerleşke içerisinde ilkokul ve ortaokul olarak faaliyet göstermiştir. 2015 yılı itibarıyla iki ayrı eğitim kurumu şeklinde yapılandırılmıştır.

2016 yılı Şubat ayında mevcut okul binası yeniden yapılmak üzere yıkılmıştır. İstanbul İl Millî Eğitim Müdürlüğünün kararı doğrultusunda, 15 Temmuz 2016 tarihinde Şehitler Köprüsü’nde şehit olan Mehmet Yılmaz’ın adı kuruma verilmiştir.