Okulun ilk binası, bugünkü Yüksek İhtisas Hastanesi'nin bulunduğu saha üzerine kurulmuş olup Ankara halkı arasında "Taş Mektep" ismiyle tanınmıştır.

            Rumi 1302 yılında zamanın Ankara Valisi Sırrı Bey tarafından temeli atılan okul binası, Rumi 1305 yılında tamamlanmıştır. Rumi 1302, Miladi 1886 yılında beş yıllık İdadi olarak eğitim ve öğretime açılan okul 1908'de de Sultani hâline getirilmiştir.

            Okul, Atatürk tarafından ilk defa 30 Aralık 1919'da ziyaret edilmiştir. 1921 senesinde Milli Mücadele'nin o günkü şartları gereğince diğer resmi dairelerle birlikte Kayseri'ye nakledilen okul, bir yıl sonra 1922'de tekrar Ankara'ya alınarak eski binasında hizmetine devam etmiştir. Milli Mücadele'nin hüküm sürdüğü yıllarda okulun öğretmen ve öğrencileri cephelerde savaşlara katılmış, gazilik ve şehitlik mertebesine yükselmişlerdir.

            Vatan müdafaasında gösterdikleri üstün gayretleri ve vatanperver çalışmaları sebebiyle de okula Milli Mücadele sonunda bizzat Atatürk tarafından ay yıldızlı sancak hediye edilmiş, günümüze kadar itina ile muhafaza edilen Atatürk'ün bu kutsal emaneti okulun en büyük gurur ve şeref kaynağı olmuştur. (Bu Sancak okulumuz bahçesinde bulunan 75. Yıl Eğitim Müzesi'nde sergilenmektedir.)

             Okulun adı, 3 Mart 1924'te kabul edilen Tevhid-i Tedrisat Kanunu'nun yürürlüğe girmesinden sonra Ankara Erkek Lisesi olarak değiştirilmiştir. Gazi Mustafa Kemal Atatürk 28 Haziran 1933´te okulu şereflendirerek Tarih - Coğrafya - Yurt Bilgisi imtihanlarını izlemiş ve 6/F sınıfının not cetvelini imzalamıştır.

            Okulun yeni binasının inşaat halinde olduğu, 1938 yılında zamanın Orta Tedrisat Genel Müdürü H. Avni Yukaryuç, Ankara Maarif Müdürü Salim Atalık ve Okul Müdürü İhsan Üngüt'ten oluşan bir heyet okulun isminin Atatürk Lisesi olması hususunu Çankaya Cumhurbaşkanlığı Köşkü'nde Ulu Önder Atatürk'e arz ve teklif etmiş ve Atatürk'ün izniyle okulun ismi Ankara Atatürk Lisesi olmuştur.

            Okul 10 Ekim 1940 tarihinde yeni yapılan bugünkü binasına taşınmıştır. İlk önce bir bloktan oluşan okula zamanla iki blok daha eklenmiş ayrıca toplantı salonu ve kapalı spor salonu yapılmıştır.

            1960 - 1970 yılları arasında okulun bazı bölümleri Ankara Yüksek Öğretmen Okulu'na tahsis edilmiş, yatakhane, yemekhane ve etüt hizmetleri karşılanmıştır. Yine bu yıllardan itibaren okul öğrencileri için pansiyon (yatılılık) açılmış, ancak daha ileriki yıllarda ortaya çıkan sıkıntılar sebebiyle 1987 - 1988 öğretim yılının sonunda pansiyon 

hizmetleri kaldırılmıştır.

            Okul 1974-1975 öğretim yılından itibaren kız-erkek karma eğitime geçmiştir. 1991 - 1992 öğretim yılından itibaren bazı derslerin öğretimini yabancı dille yapan Anadolu Lisesi statüsüne kavuşturulmuştur. Okul 2014 yılında ise  Proje Okul statüsüne alınmıştır.