Arpaçay ile Kars’ın müşterek bir tarihi vardır. Kars’ın bilinen en eski sakinleri Orta Asya’dan gelme Hurriler’dir. Kars MS V. yy ‘da Arsaklılar’ın elinde kaldıktan sonra uzun bir süre Sasani, Bizans ve İslam medeniyetleri arasında el değiştirmiştir. 1064 yılında Alpaslan’ın Ani ve Kars’ı zapt etmesi ile bu bölgenin çehresi birden değişmiştir. Kars’taki ilk Türk sanat eserleri bu zamanda yapılmaya başlamış ve Kars, Türk Beyliklerinin elinde çok değişmiştir. Batı Anadolu Osmanlı Devleti güç kazanırken Kars sırasıyla Celayiroğulları, Timuroğulları, Karakoyunlular ve Akkoyunlular gibi Türk Beyliklerinin eline geçmiştir. Her ne kadar Yavuz Sultan Selim; Tebriz dönüşünde Kars’ı ve Arpaçay’ı ülkesine katmışsa da kesin olarak 1534 yılında Kanuni Sultan Süleyman zamanında Kars, Osmanlı İmparatorluğu’na katılabilmiştir. 1534’den 1877 yılına dek Kars ve kazaları Osmanlıların elinde kalmıştır. Bundan sonra Kars, 17-18. yy ‘da İranlılar tarafından işgal edilmişse de varılan anlaşma ile İranlılar bölgeden çekilmişlerdir. İran saldırılarından kısa bir müddet sonra Rus saldırıları baş göstermiş ve Ruslar ilk denemeyi 1807 yılında Tiflis üzerinden yapmıştır. Fakat bu saldırı Türkler tarafından başarısızlığa uğratılmış, Ruslar bu yenilginin acısını 1828 yılında Kars’ı almakla çıkarmıştır. Fakat Ruslar Kars'ta bir yıl kalabilmiş ve 1855 yılında yeniden Kars ve ilçelerine hücum eden Rus orduları bozguna uğratılarak şehre, başarısından dolayı "Gazi" unvanı verilmiştir. Bu zaferden kısa bir süre sonra şehirde beliren açlık, hastalık ve soğuk yüzünden halk, Kars ve ilçelerini Ruslara bırakmak zorunda kalmış ise de 1856 yılında Paris Anlaşması ile şehir geri alınmıştır. 1877 yılında Ruslar yeniden hücum etse de bu hücumları Gazi Ahmet Muhtar Paşa kısa bir süre durdurmuş ancak cephane ve asker yardımı gelmeyince Ruslar şehre girmiştir. Kars ve İlçeleri 1878'ten 1918’e kadar Rusların elinde kalmıştır. Bu kırk yıl içinde halkı göç ettirmeye çalışan Ruslar; gidenlerin yerine Rus, Ermeni ve Yahudileri getirerek yerleştirmiştir. Bu kırk yıllık esaret devresi bitince kısa bir süre şehir elimize geçtiyse de 1. Dünya Harbi’nin sonunda imzalanan Mondros Mütarekesi ile Kars kendi kaderi ile baş başa bırakılmıştır. Bu durum İstiklal Savaşı’nın başlamasına dek sürmüş ve Kazım Karabekir Paşa kumandasındaki ordu 30 Ekim 1920’de bir daha ayrılmamak üzere Kars’ı ve ilçelerini Türkiye’ye kazandırmıştır. 1927 yılında birleştirilen Şöregel (Kızılçakçak) ile Zarşat (Arpaçay) kazalarının birleştirilerek ilçenin doğusundan geçen Arpaçay’ından etkilenilerek verilmiş isimdir. Azerbaycan ve Kafkas ellerinden Azeriler ve Karapapaklar (Terekemeler), Kars çevresinden Yerliler ile daha sonra Erivan (Revan)'dan Kürtler yerleşmiş olup; kendi örf ve adetlerine bağlı kalmakla birlikte aralarında uyum sağlamışlardır. Arpaçay İlçesi, doğusunda Ermenistan toprakları ve Akyaka ilçesi, güneyinde Kars ili bulunmakta olup; kuzeyinde Çıldır İlçesi ve batısında da Susuz ilçe toprakları ile çevrilidir. Ermenistan ile olan sınır uzunluğu ise 10 km‘dir. İlçenin alanı 605 km² olup, yüksekliği (rakım) 1675 metredir. Arazi az dalgalı olup, küçük çaplı tepeler vardır. İlçe hudutlarından geçen Kars Çayı'ndan başka, bir kısmı ilçe sınırlarında kalan Çıldır Gölünden akan Carcı suyu bulunmaktadır.