Okulumuz 1931 yılında ilkokul olarak eğitim öğretime başlamıştır. Okulumuz adını ünlü düşünür ve sosyolog Ziya GÖKALP´ten almıştır. 1931 yılından itibaren kullanılan tek katlı bina öğrenci ihtiyacına cevap veremediğinden yıkılarak yerine 4 katlı okul binası inşa edilmiş ve bu bina 1991 yılında faaliyete geçmiştir. Okulumuz 1991–1992 eğitim-öğretim yılında pilot okul olarak ilköğretim okuluna dönüştürülmüş ve bünyesinde 6.sınıftan başlamak üzere 2.kademe başlamıştır. 1991 yılından itibaren kullanılan 4 katlı okul binamız 2000–2001 eğitim-öğretim yılının 2.döneminden itibaren depreme dayanıksız olması nedeniyle tahliye edilerek yıkımına karar verilmiştir ve 2007-2008 eğitim-öğretim yılında yeni binasına taşınmıştır. Okulumuz yeni binasında 07/01/2008 tarihinde eğitim-öğretime başlamıştır. Okulumuz Kars´ın en köklü okullarından biridir. Okulumuzdan mezun olup Türkiye´nin çeşitli üniversitelerini bitirerek önemli yönetim kademelerinde yer alan mezunlarımızın sayısı küçümsenmeyecek kadar çoktur.