Okul, 1 Ekim 1933 tarihinde, Karagümrük’te Löküncüler Caddesi ile Türkistan Sokağı’nın kesişiminde bulunan ve Sütçü İbrahim’e ait binada, 62. İlkokul adıyla eğitim-öğretime başlamıştır. İlk dört yıl bu binada faaliyet gösteren okul, 1 Ekim 1937 tarihinde bugünkü Karagümrük İlkokulu binasına taşınmış ve eğitim-öğretimini burada sürdürmüştür.

Okul, kuruluşundan itibaren yaklaşık on altı yıl 62. İlkokul adıyla hizmet vermiş, 1 Mayıs 1949 tarihinde ise Şeyhülislam Hayri Efendi İlkokulu adını almıştır.

Okulun günümüzde hizmet verdiği binanın inşa tarihi kesin olarak bilinmemekle birlikte, Fatih Külliyesi’nin eğitim yapıları olan tetimme medreselerine destek amacıyla Fatih döneminden sonraki yıllarda inşa edildiği değerlendirilmektedir. Tarihî kaynaklara göre bina, 1908 yılında meydana gelen Büyük Çırçır Yangını’nda zarar görmüş; dönemin Şeyhülislamı Hayri Efendi tarafından onarılarak yangından etkilenen ailelerin kullanımına tahsis edilmiştir.

1940 yılında, dönemin İstanbul Millî Eğitim Müdürü Tevfik Kut ve Müdür Yardımcısı İzzet Koçakın girişimleriyle yapı eğitim kurumu olarak değerlendirilmiş, gerekli onarım ve düzenlemelerin ardından okul binası olarak kullanılmaya başlanmıştır. Bu tarihten 1 Mayıs 1949’a kadar Fatih 62. İlkokulu, bu tarihten sonra ise Şeyhülislam Hayri Efendi İlkokulu adıyla eğitim-öğretim faaliyetlerini sürdürmüştür.

1996-1997 eğitim-öğretim yılında, Ali Kuşçu İlkokulu ile birleştirilen okul, eğitim faaliyetlerine güçlenerek devam etmiştir.

Bugün Şeyhülislam Hayri Efendi İlkokulu; tarihî bir yapıda, köklü eğitim geleneğini çağdaş eğitim anlayışıyla buluşturarak öğrencilerini akademik, sosyal ve kültürel yönden donanımlı bireyler olarak yetiştirmeye devam etmektedir.