Пещера Дзивгиса является не только одной из самых популярных достопримечательностей района, но также и одной из самых скрытых. За все время своего существования она настолько слилась с окружающим ландшафтом, что обнаружить ее, не зная, куда идти, практически невозможно. Даже в том случае, если известен ориентир, коим является квадратное сооружение, использовавшееся в качестве сторожевой башни, летом вход в пещеру почти не виден. Пещера Дзивгиса является, по сути, не пещерой в полном смысле этого слова, а своего рода глубокой нишей в сплошной скале. В эпоху мрачного средневековья здесь располагалась крепость. Вокруг пещеры были построены укрепления, от которых в настоящее время почти ничего не осталось. Интересной особенностью Дзивгисской пещеры является то, что по сторонам ее располагаются несколько меньших крепостей. В настоящее время они никак не соединены между собой, поскольку деревянные мосты, соединявшие их, давно разрушены.

Подобраться к этой достопримечательности можно, преодолев довольно трудную тропу, на которой то здесь, то там лежат валуны приличного размера. Необходимо заметить, что неподготовленным в физическом плане людям придется затратить на подъем довольно много времени и сил, однако это вовсе не значит, что для того, чтобы осмотреть пещеру, нужно быть альпинистом. Для преодоления подъема не нужно никакого снаряжения, разве что небольшой запас воды. В саму же пещеру можно попасть через крепостную стену, точнее, через пролом, который образовался в ней еще очень давно.

Недалеко от входа в Дзивгисскую пещеру располагается небольшой пролом уже в скале. По словам местных жителей, это особый ход, который ведет из пещеры. Однако в функциональности его можно усомниться, поскольку сразу под этим «выходом» начинается отвесная скала. От главного входа в пещеру-крепость открывается поразительный вид на горы, на селения внизу, на ущелья. Иными словами, подняться сюда стоит хотя бы для того, чтобы полюбоваться подобным видом. Сравнительно недавно в окрестностях этой скальной крепости были найдены древние захоронения, в которых, скорее всего, покоились воины. В настоящее время планируются тщательные раскопки в этой местности.