Gürcüce "pınar" (წყარო - tskaro) ve "baş" (თავი - tavi) sözcüklerinin birleşmesinden oluşan Tskarostavi, etimolojik olarak "pınar başı" anlamına gelen köklü bir yerleşim adıdır. Günümüz Gürcistan'ında da aynı ismi taşıyan yerleşmeler bulunmaktadır. Nitekim ünlü Gürcü tarihçi ve arkeolog Ekvtime Takaişvili, adıyla müsemma biçimde Tskarostavi Kilisesi'nin alt kısmından gür bir pınarın doğduğunu ve bu suyun bir vadi boyunca süzülerek Kura Nehri'ne karıştığını aktarmaktadır.
Tskarostavi, tarihsel süreçte son derece stratejik ve dinsel bir merkez olarak öne çıkmıştır. Erken Orta Çağ'da Gürcü Kralı Vahtang Gorgasali döneminden itibaren Gürcü Krallığı'nın sınırları içerisinde kalan yerleşim, Geç Orta Çağ'da birleşik Gürcü Krallığı'nın dağılmasıyla kurulan Samtshe-Saatabago Prensliği (1268-1625) hâkimiyetine girmiştir. 16. yüzyılın ikinci yarısında gerçekleşen Osmanlı fethi sonrasında bölge, Osmanlı idari taksimatında Çıldır eyaletine/livasına bağlanmış ve Kenarbel nahiyesine tabi "Zğarostav" adıyla kaydedilmiştir.
Yerleşimin en dikkat çekici özelliği, Gürcü Kilisesi hiyerarşisinde yedinci sırada yer alan önemli bir piskoposluk merkezi olmasıdır. Tskarostavi'deki ilk piskoposluk kilisesi henüz 6. yüzyılda inşa edilmiş, bu durum yerleşimin Erken Hristiyanlık dönemindeki önemini kanıtlamıştır. 10. yüzyılda kubbeli bir mimari yapıyla yeniden inşa edilen bu anıtsal kilise, 20. yüzyılın başlarına kadar büyük oranda sağlamlığını korumuştur. Yapıyı 20. yüzyılın başında ilk kez inceleyen E. Takaişvili; batı kolu uzatılmış, yarı serbest haç planlı olan bu dini yapıyı 11-12. yüzyıllara tarihlendirmiştir. Ancak ne yazık ki bu tarihî piskoposluk kilisesi 1970'li yıllarda yıkılmış ve malzeme kaybına uğrayarak yerine bir cami yaptırılmıştır.
Köydeki diğer tarihsel kalıntılar arasında, piskoposluk kilisesinin kuzey yönünde konumlanan ve günümüze yalnızca kalıntıları ulaşabilen tek nefli küçük bir köy kilisesi bulunmaktadır. Ayrıca köy merkezinin yaklaşık 1,7 km güneyindeki bir tepe yamacında yer alan 43 × 40 metre boyutlarındaki kare planlı kale de tamamen tahrip olmuş durumdadır.





