Okul adını semte ismini veren Kocamustafapaşa'dan alır. Kocamustafapaşa Osmanlı imparatorluğunun devlet adamlarından biridir. Fatih Sultan Mehmet, II. Beyazıt ve Yavuz Sultan Selim dönemlerinde yaşamıştır. Enderun-i Hümayun'da tahsilini tamamlayıp, sırasıyla Saray Kapıcıbaşısı, Rumeli Beylerbeyi, Vezir ve Veziri Azam olmuştur.

Kocamustafapaşa semtinde bulunan Kocamustafapaşa İlkokulu’nun bulunduğu arsada, daha önce tüccarların konakladığı Develi Han’ı bulunmaktaydı. 1503-1513 yılları arasında inşa edilen ve 1870'li yıllarda artık harap durumda olan Develi Han yıktırılmış ve yerine Askeri Rüştiye inşa edilmiştir. Maarif Nazırı Süleyman Paşa tarafından, Kırk İkinci Yıl Askeri Rüştiyesi adıyla kurulmuştur.

Kırk İkinci Yıl Askeri Rüştiyesi’nin kuzeydoğu cephesinde, giriş kapısının üzerinde bulunan kitabe ve tuğradaki yazılar silinmiş olduğundan dolayı, yapının inşa veya açılış tarihini tam olarak tespit etmek mümkün değildir. Ancak eğitim tarihçelerinde, Askeri Rüştiye'nin, İstanbul'da açılan dokuz rüştiyeden biri sayılması nedeniyle okulun açılış tarihini 1875-1876 yılı vermek mümkün görünmektedir.     

1912-1913 tarihli Balkan Savaşı sırasında, Askeri Rüştiyeler’in eğitim faaliyetlerine son verilmesiyle, Kırk İkinci Yıl Askeri Rüştiyesi de kapatılmıştır. Ancak, binanın eğitim öğretim hizmeti görevi sona erdirilmemiş, okul 1914 yılında Numune Mektebi adıyla tekrar açılmıştır. 1914 yılından 1923 yılına kadar Numune Mektebi olarak kullanılan bina, 1923 yılında Fatih 28. İlkmektep ismini almıştır.1929 yılında mevzuatta yapılan düzenleme sonrası adı Fatih 28. İlkokul olmuştur.

1950 Yılında okul isimlerinden numaraların kaldırılması ve okullara bulundukları semtin adının verilmesi uygulamasının başlaması nedeniyle, Fatih 28. İlkokul bu defa Kocamustafapaşa İlkokulu adını almıştır.    

1953 yılında öğrenci sayısının çokluğu ve sınıfların yetersiz kalması nedeniyle, yapının planında değişiklik yapılmış, derslikler ikiye bölünerek, derslik sayısı iki katına çıkarılmıştır.

1969 yılı başında yapı, restorasyon sürecine alınmış ve bir yıl süre ile, okul eğitime kapatılmıştır. Onarım esnasında yapının; özgün ahşap döşemeleri ile merdiveni betonarmeye çevrilmiş ve bugünkü görümünü almıştır. Isınma olarak da kalorifer sistemine geçilmesi planlanmış ve okula kalorifer tesisatı döşenmiştir.

Bina; 11.04.1980 tarih ve 11920 sayılı karar gereğince korunması gerekli kültür varlığı olarak tescil edilmiştir. Yapının mülkiyeti Maliye Hazinesine ait olup, kullanım hakkı ise Milli Eğitim Bakanlığı'na verilmiştir.

         Okulumuzun güneyinde bulunan tek katlı bina 1987 yılında istimlak edilmiş, 1997'de bir kat ilave edilerek anaokulu olarak hizmet vermeye başlamıştır.

1997'de Türk Milli Eğitimi'nde sekiz yıllık kesintisiz eğitim uygulamasına geçilmesiyle, Kocamustafapaşa İlkokulu'nun ismi, Kocamustafapaşa İlköğretim Okulu olarak değiştirilmiştir. 

20/06/2012 tarihli ve 6287 Sayılı Kanun gereği Türk Milli Eğitimi´nde 4+4+4 sistemine geçiş nedeniyle, okulumuzun İlkokul statüsünde eğitim vermeye başlamasıyla birlikte adı tekrar Kocamustafapaşa İlkokulu olarak değiştirilmiştir.

18/07/2022 tarih ve E-30l4061 1-105.01-53706963 sayılı bakanlık onaylı yeni okul açılması konulu karar ile bünyemizde bulunan anasınıfı binası 2022-2023 Eğitim Öğretim Yılı itibariyle bağımsız anaokulu olarak hizmet vermeye başlayarak adı Kocamustafapaşa Anaokulu olmuş ve okulumuzdan tamamen ayrılmıştır.

2023-2024 Eğitim-Öğretim yılına geldiğimiz dönemde, okulumuz; halen 14 derslik ve 28 şube ile ikili eğitim şeklinde eğitim ve öğretime devam etmektedir. 

Geçmişten günümüze kadar köklü bir eğitim çizgisi gösteren okulumuz tarihe mal olmuş birçok ünlü isim yetiştirmiştir.