Okul bina olarak yapımının 1850 yılına dayandığı tahmin edilmektedir. Elde edilen bilgilere göre bina, ilk olarak askerî koğuş olarak kullanılmak amacıyla inşa edilmiştir.

Toplam 3215 m² alan üzerine kurulu olan yapının 420 m²’si bina, 2795 m²’si ise bahçe alanı olarak kullanılmaktadır. Okul arazisi, Sultan Beyazıt Vakfı’ndan kira karşılığı Vakıflar İdaresine bırakılmış olup, mülkiyeti Millî Emlak’a aittir.

Günümüzde Rami Kütüphanesi olarak faaliyet gösteren Rami Kışlası ile aynı semtte bulunan okulumuz, adını II. Mustafa döneminde (1695-1703) reisülküttaplık ve daha sonra sadrazamlık yapan Rami Mehmed Paşa’dan almıştır.

Şehadetnâme defteri incelendiğinde, okulun 1927 yılında kurulduğu anlaşılmaktadır. 1929 yılında, komşu okul olan Hacı Ali Paşa Mahalle Mektebi öğrencilerinin de bünyeye katılmasıyla birlikte, 1929-1930 eğitim öğretim yılında ilk mezunlar verilmiştir.

Okulun, “33. İlk Mektep” olarak hizmet vermiş; daha sonra bulunduğu semtin adını alarak “Rami İlkokulu” adını almıştır. İlerleyen yıllarda ortaokula dönüştürülmüştür.

1965 yılında, Reşadiye Caddesi’nde inşa edilen ve daha sonra Rami Ortaokulu (günümüzde Rami Atatürk Anadolu Lisesi) adıyla açılan okulun faaliyete geçmesiyle birlikte, mevcut okul yeniden ilkokul olarak hizmet vermeye başlamıştır.

1997-1998 eğitim öğretim yılından itibaren ise okul, “Rami İlköğretim Okulu” adıyla eğitim öğretime devam etmiştir.

Şubat 2008’de yeni okul binasının inşaatına başlanmış, Ağustos 2008’de tamamlanmış ve 2008-2009 eğitim öğretim yılında yeni bina faaliyete geçmiştir.

30 Mart 2012 tarihinde yürürlüğe giren 6287 sayılı Kanun ile birlikte okul, ilkokul ve ortaokul olarak ikiye ayrılmış; yeni binada ortaokul kısmı “Rami Ortaokulu” adıyla fiilen eğitime başlamıştır.