Şehrin en eski tarihe sahip okullarından biri olan okul, Kara Osman adı ile tanınan bir şahsın vakfından önceki özel idare binasının bulunduğu yere ilk defa inşa edilmiş ve hizmete girmiştir. Okulun ilk kuruluşu ve hizmete giriş tarihleri hakkında kesin bilgiye ulaşılamamakla beraber, II. Meşrutiyet'ten sonra kurulduğu ve hizmete girdiği rivayet edilmektedir. 1957 yılındaki depremde kullanılamayacak duruma gelmiş olan okul binası boşaltılmış, o zaman eski bir kilise binasında eğitim-öğretim yapan Cumhuriyet İlkokuluna taşınmış ve altı yıl her iki okul aynı binada eğitime devam etmiştir. Cumhuriyet İlkokulu binasında eğitim-öğretime devam edilirken okulun şimdiki yeri satın alınmış; burada iki katlı, on iki derslikli yeni okul binası yapılmış ve Cumhuriyet İlkokulundan ayrılan okul 3.7.1963 tarihinde hizmete giren bugünkü binasına nakledilmiştir. Okul o günden bu yana bu binada eğitim-öğretime devam etmektedir. 

   2017-2018 eğitim-öğretim yılından itibaren okulda tekli eğitime geçilmiştir. 2019-2020 eğitim-öğretim yılının ara tatilinde Milli Eğitim Bakanlığı tarafından okul binası için yıkım kararı verilmiştir. Yeni bina yapılana kadar Sabihahanım Ortaokulunda eğitime devam eden okul, 2024-2025 eğitim-öğretim yılından itibaren yeni yapılan binasında öğretim faaliyetlerine devam etmektedir.