Halil Rüştü İlkokulu’nun temelleri, 1892 yılında merhum Halil Rüştü Bey tarafından Üsküdar’daki Tabutçular Çıkmazı Sokak’ta bulunan ahşap iki katlı köşkte “Ravza-i Terakki” adıyla atılmıştır. Özel okul statüsünde faaliyet gösteren kurumda eğitim süresi yedi yıl olarak planlanmış; eğitim yapısı iptidai ve rüştiye kademelerinden oluşmuştur.

Kurucusu Halil Rüştü Bey, resmî bir eğitim geçmişine sahip olmamasına rağmen dönemin eğitim anlayışına yön veren isimlerden biri olarak kabul edilmiştir. Kurum, öğrenci karnesi uygulaması, başarılı öğrencilere ödül verilmesi ve bilgi yarışmalarının düzenlenmesi gibi yenilikçi eğitim uygulamalarıyla dikkat çekmiştir. Ayrıca birçok dersin Fransızca yürütülmesi nedeniyle yabancı öğretmenlerin görev yaptığı öncü eğitim kurumlarından biri olmuştur.

1910 yılında Halil Rüştü Bey’in vefatının ardından kurumun yönetimi İttihat ve Terakki Cemiyeti’ne devredilmiş, oluşturulan mütevelli heyeti tarafından eğitim faaliyetleri “İttihat ve Terakki Okulu” adıyla 1926 yılına kadar sürdürülmüştür. Cemiyetin dağılmasının ardından mütevelli heyeti üyelerinden Dr. Hüsnü Şakir Bey binayı satın alarak kurumu “İttihat Sultanisi” adıyla özel okul statüsünde faaliyet göstermeye devam ettirmiştir.

1927 yılında Dr. Hüsnü Şakir Bey tarafından bina ve taşınırlarıyla birlikte devlete bağışlanan kurum, bu tarihten itibaren “Otuzuncu Okul” adıyla eğitim öğretim faaliyetlerini sürdürmüştür. 1949-1950 eğitim öğretim yılında İstanbul’daki ilkokullarda numara uygulamasının kaldırılmasıyla kurumun adı “Kızlarağası İlk Mektebi” olarak değiştirilmiştir.

1951-1952 eğitim öğretim yılında kurum mezunlarından gazeteci ve yazar Burhan Felek’in girişimleriyle okula kurucusunun adı verilmiş; 1953 yılında “Halil Rüştü İlkokulu” adı resmiyet kazanmıştır.

Kurum, 1964 yılına kadar tarihî ahşap binada eğitim faaliyetlerini sürdürmüş, 24 Aralık 1964 tarihinde aynı bahçe içerisinde devlet tarafından inşa edilen yeni binaya taşınmıştır. Eski bina bir süre depo, arşiv ve İlçe Millî Eğitim Müdürlüğü hizmetlerinde kullanılmıştır.

1964 yılında inşa edilen yeni okul binası; derslikler, idari birimler, kitaplık ve arşiv alanlarından oluşacak şekilde planlanmıştır. Artan öğrenci kapasitesi nedeniyle 1973 yılında binaya ek kat yapılmış ve yeni derslikler oluşturulmuştur. Aynı dönemde okul bahçesi genişletilerek eğitim ortamı geliştirilmiştir.

1999 Marmara Depremi’nde zarar gören okul binası, 2000-2001 eğitim öğretim yılında kapsamlı bir onarımdan geçirilmiş ve 2001-2002 eğitim öğretim yılında yeniden hizmete açılmıştır.

4+4+4 eğitim sistemine geçilmesiyle birlikte kurum ilkokul statüsünde eğitim faaliyetlerini sürdürmeye devam etmektedir.