Okulun temeli, Hacı Selim Ağa’nın kütüphane ile beraber 1782’de yaptırdığı sıbyan mektebi ile atıldığı kütüphanenin kapısında bulunan kitabeden anlaşılmaktadır. Okul 1893 senesinde de Üsküdar Kız Rüşdiyesine dönüştürülmüştür. Cumhuriyet döneminde ilkokula çevrilerek 23. İlkmektep adını alan okulun öğrenci sayısı artınca daha büyük bir bina yapılması gündeme gelmiştir. 1937 yılında yıktırılarak halkın Taş Mektep dediği bina yapılmış ve daha sonra Hacı Selimağa İlköğretim Okulu adını almıştır. 

2013-2014 Eğitim Öğretim yılında Milli Eğitim Bakanlığı Özel Eğitim ve Rehberlik Hizmetleri genel Müdürlüğüne bağlı Hacı Selimağa Özel eğitim İş Uygulama Merkezi olarak (orta ve ağır düzeyde zihinsel-otizmliler okulu) 17.02.2014 tarihinde eğitim öğretime başlamıştır. Okul şu anda Hacı Selimağa Özel Eğitim Uygulama Okulu olarak hizmet vermektedir.