1929 yılında, Küçükyalı köy sakinlerinden Muhsine Zeynep Hanım, Küçükyalı’ya okul yaptırılması amacıyla 2.000 lira bağışta bulunmuştur. Okulun arsası ise köy sakinlerinden Erşet Bey tarafından bağışlanmıştır. Bu arsa üzerine, Muhsine Zeynep Hanım tarafından bağışlanan para ile tek katlı ve tek derslikli bir okul yapılmıştır. O tarihte Küçükyalı Köyü’nde başka okul bulunmadığından, köydeki tüm çocuklar bu okula devam etmiştir.

1942-1943 yıllarında il bütçesinin katkısıyla okula ek binalar yapılmış ve çevredeki çocuklar da okula kabul edilmiştir. 1943-1944 Eğitim Öğretim Yılı’nda okul, dönemin şartları gereği yatılı ve pansiyonlu hâle getirilmiştir. 222 sayılı Kanun ile yatılı pansiyon okulun son şekli, 17 Nisan 1947 tarih ve 12575 sayılı yönetmelikle belirlenmiştir.

Arsanın uygun olması ve yeni binaların yapılmasıyla okul, 1953 yılında İstanbul İli Korumaya Muhtaç Çocuklar Birliği tarafından kız çocukları için yetiştirme yurdu olarak açılmıştır. 1953-1954 Eğitim Öğretim Yılı’nda kayıtlar başlamıştır. 1985 yılında öğrenci azlığı nedeniyle koruma kararlı çocuklar Küçükyalı Çocuk Yuvası’na aktarılmış, okul ise normal ilkokul statüsüne dönüştürülmüştür.

1987-1988 Eğitim Öğretim Yılı’ndan itibaren binada Muhsine Zeynep Ortaokulu da hizmet vermeye başlamıştır. Okul, 1990 yılından itibaren ilköğretim okulu olarak eğitim ve öğretime devam etmiştir.

24 Ocak 2012 tarihinde, depreme karşı hazırlanan İSMEP kapsamında okul binası yıkılarak yerine modern ve güvenli bir yapı inşa edilmiştir. İnşaat sürecinde eğitim öğretim faaliyetleri Ahmet Rasim İlköğretim Okulu’nda sürdürülmüş, okul 06.02.2012 tarihinde yeni binasında eğitim öğretime başlamıştır. Depreme dayanıklı olarak inşa edilen ve öğrencilerin tüm ihtiyaçlarını karşılayacak şekilde tasarlanan yeni binada, okulun kendi öğrencilerinin yanı sıra kapanan Fevzi Çakmak İlköğretim Okulu öğrencileriyle de eğitim öğretime devam edilmiştir.

17 Haziran 2012 tarihinde okulun statüsü ortaokul olarak belirlenmiş ve adı “Muhsine Zeynep Ortaokulu” olarak değiştirilmiştir.

2013-2014 Eğitim Öğretim Yılı’nda ise Ahmet Rasim İlkokulu ve Kadir Has İlkokulunun ortaokul kısımlarındaki öğretmen ve öğrenciler, 4+4+4 eğitim sistemi kapsamında okula dâhil edilmiş; böylece okul, bölgenin en büyük ortaokullarından biri olarak eğitim öğretime devam etmiştir.