Karagümrük Ortaokulu, 1938-1939 eğitim öğretim yılında Fatih ilçesi Çarşamba semtinde iki derslikli olarak eğitim öğretime başlamıştır. 1939-1940 eğitim öğretim yılının başında, bugünkü okul binasının tamamlanmasıyla yeni hizmet binasına taşınmış ve eğitim faaliyetlerini burada sürdürmüştür.

1951-1960 yılları arasında, binası kullanılamaz hâle gelen Fatih Kız Ortaokulu ile aynı binayı ortaklaşa kullanarak eğitim öğretime devam etmiştir.

1965-1966 eğitim öğretim yılından itibaren okulun adı Ahmet Rasim Ortaokulu olarak değiştirilmiştir. 1988-1989 eğitim öğretim yılında lise statüsüne kavuşan okul, Ahmet Rasim Lisesi adını almıştır.

1991-1992 eğitim öğretim yılında ek hizmet binası tamamlanmış, 1997-1998 eğitim öğretim yılından itibaren ise tekli eğitim sistemine geçilmiştir. 2000-2001 eğitim öğretim yılında, sekiz yıllık zorunlu eğitim uygulaması kapsamında Nişancı Mehmet Paşa İlköğretim Okulu ile aynı binayı ortak kullanmıştır.

2013-2014 eğitim öğretim yılından itibaren Ahmet Rasim Anadolu Lisesi adıyla eğitim öğretim faaliyetlerini sürdüren okul, 2016 yılında depreme dayanıklılık çalışmaları kapsamında yıkılarak yeniden inşa edilmiştir. Modern eğitim anlayışına uygun şekilde inşa edilen yeni okul binası 2018 yılında tamamlanmış; okul, geçici hizmet binalarında eğitim öğretime devam etmiştir. 2024-2025 eğitim öğretim yılının ikinci döneminde ise öğrencileri ve öğretmenleriyle birlikte yenilenen binasına taşınarak eğitim faaliyetlerini burada sürdürmeye başlamıştır.