Erzurum Lisesi, 1889 senesinde bugünkü Erzurum Olgunlaşma Enstitüsünün bulunduğu binada “Erzurum İdadisi” adıyla kurulmuş ve 1890 yılının Haziran başında da eğitim ve öğretime başlamıştır. Erzurum Lisesinin birinci sınıfı, Fransızca bilenler ve Fransızca bilmeyenler olmak üzere iki şubeden oluşmuştur. Daha sonra 5 sınıflı olan idadiye 1891 senesinde Mülkiye Rüştiyesi'nin son iki sınıfı da eklenerek idadi olarak 7 sınıfIı bir mektep haline getirilmiştir. O zamanlar okulun beş yıllık kısmından mezun olanlara idadi şahadetnamesi, son sınıftan mezun olanlara da Mülâzemet Ruûsu (Belgesi) verilirdi. Okuldan ilk mezunlar 1895 yılında çıkmıştır. Okul 1913 yılından 1922 yılına kadar Sultani ismini almış, 1926 yılında lise haline getirilmiştir.

Erzurum Lisesi, 1924 yılında Pasinler depremi nedeniyle Erzurum’a gelen İlk Cumhurbaşkanımız Mustafa Kemal ATATÜRK tarafından da 1 Ekim 1924 tarihinde ziyaret edilmiştir.

Daha sonra bugünkü Nene Hatun Kız Lisesi binasının bulunduğu bu binaya 1927 yılında taşınmıştır. Okul 1939’da ise bugün Hastaneler Caddesi olarak adlandırılan Havuzbaşı’nın hemen alt tarafında inşa edilen ve hâlen eğitim faaliyetlerini sürdürdüğü mevcut binasına geçmiştir.

 Eski Eserler ve Müzeler Genel Müdürlüğü kayıtlarına göre Erzurum Lisesi binası, erken Cumhuriyet dönemi eseri olup, kagir kırma çatı ile örtülü, dikdörtgen planlı bir yapıdır. Binanın inşaatına 1930 yılında başlanmış, 1939 yılında tamamlanmıştır.

Erzurum Lisesi binası Vali Haşim İŞCAN zamanında, İzmirli Müteahhit, Mühendis İsmail Hakkı Bey tarafından inşa edilmiştir. Binanın kontrol mühendisi Kenan Bey, sürveyanı Hasan Cemil GÜNAY' dır.

1939 yılında inşaatı tamamlanan ve bugün ana bina olarak adlandırılan yapı, birbirine bağlı dört bölümden müteşekkildir. Yapı; idare odaları, derslikler ve bilgisayar laboratuvarının bulunduğu eğitim binası ile pansiyon, yemekhane, lojman ve spor salonu bölümlerinden oluşmaktadır.

2004 yılında ülkemizdeki bazı tarihi okullar gibi ismini korumak sureti ile Anadolu Lisesi ünvanını almıştır.