Köyün eski adı, 1918 yılı kayıtlarında "Sôsgerd" olup, Ermenicede "Çınarkale" anlamına gelmektedir. Köyün 1928'deki adı "Sosgird" olarak geçmektedir. Arpaçay ilçe merkezinin 35 kilometre doğusunda, Karahan Çayı vadisine hakim stratejik bir andezit kayalık üzerinde konumlanan Taşdere/Sosgert Kalesi, 3900 metrekarelik bir alana yayılan ve savunma ile lojistiği ustalıkla birleştiren bir Urartu merkezidir.
Batı, kuzey ve güney cepheleri sarp uçurumlarla korunan kalenin, savunma açısından en zayıf noktası olan doğu kesimi, Urartu askeri mimarisinin karakteristik özelliklerinden biri olan ve iki duvar arasında 10 metre mesafe bulunan çift sur sistemiyle tahkim edilmiştir. Kiklopik teknikte (büyük taş bloklarla harçsız örgü) inşa edilen ve ana kayaya açılan temel yataklarına oturtulan bu surlar, yerleşimin idari merkezi olduğu düşünülen yükseltilmiş doğu bölümünü koruma altına almaktadır. Kalenin kuzeydoğusundaki 2,30 metre genişliğindeki giriş kapısı, her iki yanındaki kule kalıntılarıyla dönemin tipik anıtsal kapı formunu yansıtırken; kale içerisinde ana kayaya oyulmuş kare ve dikdörtgen formlu sarnıçlar ile yiyecek depoları lojistik gücü simgelemektedir.
Yapının en dikkat çekici mimari öğesi olan ve kaleyi bir Urartu yerleşimi olarak kesinleştiren veri ise, kuzeybatı kısmında bulunan, ana kayaya sarmal (minare merdiveni) tarzında oyulmuş 15 basamağı görülebilen ve doğrudan Karahan Çayı'na inen gizli su tünelidir. Arkeolojik yüzey araştırmalarında elde edilen kırmızı perdahlı "Urartu Saray Keramiği" ile Erken Demir, Orta Demir ve Orta Çağ'a tarihlenen seramik buluntuları, stratejik yol güzergâhlarını ve su kaynaklarını denetleyen bu kalenin yüzyıllar boyunca kesintisiz bir yerleşim ve askeri üs olarak kullanıldığını kanıtlamaktadır.
