Günümüzde kullanılan Ardahan adının menşei kesin olarak bilinmemekle birlikte, Gürcüce kaynaklarda bölge tarihsel olarak Artaani (არტაანი), Artahani (არტაჰანი) ve Artani (არტანი) biçimlerinde kaydedilmiştir. Gürcü kronik yazarı Leonti Mroveli'nin Kartlis Tskhovreba'da aktardığı rivayete göre kent, Mtshetos'un oğlu Cavahos tarafından kurulmuştur. İlk kuruluş evresinde Kacta Kalaki (Şeytan Şehri) ve sonrasında Huri adlarıyla anılan yerleşim yeri, ancak daha geç dönemlerde bölgenin genel adı olan Artaani ismiyle özdeşleşmiştir.
Kentin merkezinde, Kura Nehri'nin hemen sol kıyısında ve Halil Efendi Mahallesi sınırlarında yer alan Ardahan Kalesi, bölgede günümüze en sağlam ulaşabilmiş askerî yapılardan biridir. Kalenin ilk inşa tarihi kesin olarak belgelenememekle birlikte Selçuklu ve Osmanlı dönemlerinde aktif olarak kullanıldığı bilinmektedir. Günümüzdeki mimari karakteriyle tipik bir Osmanlı kale yapısı niteliği taşıyan eser, 14 adedi burçla desteklenmiş yaklaşık 328 × 180 metre boyutlarında dikdörtgen bir plana sahiptir. Kalenin batı cephesinde, kare planlı iki burç arasında yükselen sivri kemerli ana giriş kapısı yer almaktadır. Buradaki Osmanlıca onarım kitabesi, yapının 1556 yılı Ağustos/Eylül ayında Kanuni Sultan Süleyman'ın emriyle kapsamlı bir imardan geçtiğini belgelemektedir.
Arazi topoğrafyasına bağlı olarak kalenin kuzey ve güney yarısı arasında 35-37 metrelik belirgin bir kot farkı bulunmaktadır. Geçmişte içerisinde bir cami ve hamam yapısının yer aldığı bilinen kalede tespit edilen en eski arkeolojik veri, kuzey iç duvarda devşirme malzeme olarak kullanılmış 10. yüzyıla ait Gürcüce bir yazıttır. Zeminden 3 metre yüksekte, 45 × 31 cm boyutlarındaki volkanik tüf taşı üzerine dört satır halinde işlenen Asomavruli yazıtın çevirisi "Kutsal Taş. Jacop'un Kayası." şeklindedir. Eski Ahit temalı dinsel içeriği sebebiyle bu taşın, kaledeki bir onarım sırasında işlevini kaybetmiş yakın bir kilise veya şapelden sökülerek duvara eklendiği değerlendirilmektedir. Ardahan Kalesi, sürekli yenilenmiş olması nedeniyle ilk evre mimari özelliklerini büyük ölçüde kaybetmiş olsa da bölgede bütünlüğünü koruyan en görkemli tarihî simgelerden biridir.
