Cumhuriyetten önce okulumuzun bulunduğu yerde bir Rum evi bulunmaktaydı. Evin sahibi evi daha geliştirerek büyük bir kütüphaneye dönüştürmüştür. Daha sonra bahçe kapısının olduğu yere Rum papa tarafından bir kilise yaptırılmıştır. Kütüphaneyi de bu kiliseye bağlı okula dönüştürmüştür. 9 Eylül 1922'de Rumlar İzmir'i terk edip gittiklerinde okul ve kilise Türklere kalmıştır. "Türk İlkokulu" olarak eğitim ve öğretime açılmış sonra ismi "Ankara İlkokulu" olmuştur. Okulda önce erkek öğrenciler öğretim yaparken daha sonra kız öğrenciler de okula alınmaya başlamıştır. Çevre nüfusu artmaya başladıkça okul küçük gelmeye başlamış, 1961 yılında 6 derslik daha ilave yapılarak bahçe ortasındaki kilise yıkılmış, yerine müzik salonu ve yemekhane yapılmıştır. Zamanla derslikler gereksinimi karşılamadığından, semt zenginlerinden Durmuş YAŞAR tarafından ilave pavyon öğretime girmiş, 1963 yılında öğretime açılan pavyonda yetersiz gelince, 1972 yılında Kula Mensucat'ın yaptırdığı 10 derslikli pavyonda hizmete sunulmuştur. 1972 yılında Çok Amaçlı Salonun inşasını Halim FOÇALI yaptırmıştır.

Okulumuz 1997 tarihinde çıkarılan "8 Yıllık Kesintisiz Eğitim" nedeniyle ilköğretim okuluna dönüşmüş ve ismi de "Ankara İlköğretim Okulu" olmuştur.

Okulumuz 4+4+4 Sistemi ile 2012 yılında Ankara İlkokulu adını almıştır.