Köyün eski adı, 1902 yılı kayıtlarında Ermenicede "çukur" anlamına gelen Por olarak geçmektedir. Tarihi kaynaklarda Bor veya Por adıyla zikredilen ve günümüzde Değirmenaltı olarak bilinen yerleşim yeri, 15. yüzyılda yaşamış Bitlisli şair Arakel ile Diyarbakır piskoposu ve minyatür sanatçısı Nakkaş Mkrtitch'in doğum yeridir. Yöre halkı tarafından hâlâ eski ismiyle anılan bu köyde yer alan Değirmenaltı Köy İçi / Aziz Anania Kilisesi, deniz seviyesinden yaklaşık 1750 metre yükseklikte inşa edilmiştir. Büyük bir kısmı günümüze ulaşmayı başaran yapının yol cephesinde yer alan açık bir girişin (olası bir kapı) hemen üzerinde, daire içine alınmış bir haç tasviri dikkat çekmektedir. Bu açıklığın sağında kalan cephe yoğun şekilde tahrip olmuşsa da yapının üst çatısı ve yan duvarları mevcudiyetini korumaktadır.
Kilisenin ana girişi arka tarafta kalmakta ve modern bir konutun avlusuna bakmaktadır. Günümüzde taşlarla örülerek kapatılmış olan bu ana girişin alt ve üst kısımlarında Ermenice yazıtlar yer alır. Söz konusu girişin hemen 1-2 metre önündeki avlu zemininde ise devasa taşlar üzerine kazınmış, 3-4 metre yüksekliğinde ve 1-2 metre genişliğinde iki adet haç tasviri (haçkar) bulunmaktadır. 1418 ve 1575 tarihlerini taşıyan el yazmalarının kolofon (ithaf) kayıtlarında manastırın adı Surp Anania ve Surp Kevork olarak geçmektedir. Bununla birlikte, yapının mimari formu ve karakteristik özellikleri, Erken Hıristiyanlık dönemine, yani 5. veya 6. yüzyıla ait bir tapınak olduğuna işaret etmektedir. Tarihi derinliğine rağmen anıtsal yapı, günümüzde şahsi mülkiyete tabi olup saman, gübre ve yem deposu olarak kullanılmaktadır.
