Благодаря своему замку, Каменец с 1413 г. был центром повета в Трокском и Подляшском воеводствах, но в 1569 г. вошел в Берестейский повет и воеводство. Город и замок так сильно пострадали в войну середины XVII в., что сейм в 1661 г. освободил Каменец от налогов на 4 года. После московско-шведского нашествия замок утратил военное значение, оставшись лишь двором - центром староства. Инвентари Каменецкого замка XVIII в. рисуют картину заброшенности башни. Въезд в замок со стороны города вел через ворота на валу, затем по мосту через ров, сквозь другие ворота, по бокам которых находились карцеры (замок выполнял и функции тюрьмы). За рвом по периметру двор был обнесен остроколом. Все постройки были деревянные, стекла в окнах оправлены в дерево и олово, камин с лепниной, при нем печь кафельная с орлами... «За пределами замка на валу вежа, под которой есть укрытие с дверью в него на верхний ярус... Нижний ярус без двери и какого-либо закрытия, эта вежа сверху замурована, внутри поруйнована, в окнах нет стекол» (1728 г.).
В 1757 г., когда староство держал гетман Михал Казимир Радзивилл, на детинце уже стоял дворец деревянный, недавно построенный, с шестью комнатами, столовой и залой, в которой по углам стояли два камина-шкафчика, а в кабинетах - четыре округлые печки. Топка печей находилась под залой в сводчатом подвале. (В 1896 г. на месте замка стояли здания мужского и женского училищ. Когда при постройке копали ямы для их фундаментов, нашли подземную кирпичную кладку. Скорее всего, это был подвал дворца, упомянутый выше. Среди жителей ходило предание, что между дворцом и башней существует подземный ход.)
Замок окружали ров и штакетная ограда. «Замковая башня округлая, высокая, кирпичная, имеющая под собою склеп, наполовину сводчатый. Ко входу в склеп пристроен тамбур из распиленных бревен с входной дверью на завесах. Вход в склеп шел через такую же дверь, только с железной решеткой. К башне недавно пристроены сени из тесаного дерева, с дверями и полом из досок, и в самую башню ведут двери такие же сосновые из плах, имеющие шесть фрамуг и пол из досок». О верхних ярусах в инвентаре 1757 г. не говорится ни слова, видимо, они уже никакне использовались. Впрочем, в 1761 г. в Каменце стоял драгунский полк, и служивший в нем любознательный Удальрик Радзивилл с офицерами наблюдал редкое астрономическое явление - прохождение Венеры через диск Солнца. Тогда еще никто не задумывался над происхождением и исторической ценностью необычной башни.
Последний известный инвентарь Каменецкого замка от 28 декабря 1822 г. описывает заурядный казенный двор, не упоминая ни о валах, ни о рвах. Вежа оказалась уже вовсе за его пределами, из нее начинают добывать кирпич. «В правой стороне за замковым детинцем столп, или древняя башня, из кирпича вымурована, вокруг оной внизу штабель вынутого кирпича, под ней подвал с вновь пристроенным тамбуром из соснового дерева, накрытым дранью, с лестницей, вмурованными косяками и дверью. С другой стороны башни сделан склад... Наверху башни свод из кирпича продырявленный. Внизу - лестница для возможности ремонта вверху этого здания».
Удивительно, что в 1826 г., сразу после восшествия на престол, император Николай I приказал не разрушать древние здания, в частности замки, а чинить, правда, чинить только ворота в них или нужные помещения. Министерство внутренних дел затребовало от губернаторов сведения о наличии таких древностей. Гродненский гражданский губернатор К.О. Максимович направил запросы уездным исправникам. 3 ноября 1827 г. получено донесение из Бреста «о наличии каменного столпа в Каменце, принадлежавшем графам Велиогурским». Исправник обмерил столп и сообщил, что высота его равна 35,5 аршина, окружность - 48 аршин, толщина стен 3 аршина. «Кирпич ни в чем не испорчен, и так как (столп) построен из древнего хорошего материала, то кирпич почти скаменелый, и сей столп весьма прочный, а токмо в середине как было несколько этажей, то полы верхние разстроены».
Исправник не смог выяснить, когда и зачем построен «столб, или башня», которая издавна находится в Каменце, но узнал, что когда в местечке была Магдебургия, то этот столб в качестве герба был изображен на печати. Местные жители излагали разные версии. Одни говорили, что башня построена неким удельным князем, чтобы заключить в ней за преступления своего родного брата, и другая такая же якобы была построена в Каменце-Подольском или в Хелме для ареста второго преступного брата. Другие считали, что во времена проживания в здешних местах ятвягов башня применялась для обороны и в ней могли помещаться несколько сот человек на одном этаже, а таковых было три. «Около той башни есть замок, с дерева выстроенный на высыпанном валу, с одной стороны рекою и с трех сторон рвами обведенный, и во время сражений, когда замок был осажден, то гарнизон, защищающий местечко, в подобных строениях помещался и оттоль через окошки бросал нужные для спасения себе снаряды». В докладе исправника содержится версия происхождения названия Беловежской пущи от названия этой башни, некогда звавшейся Бела Вежа из-за того, что она была побелена известью, «чего и ныне остались на ней следы».
В 1837 г. Игнатий Кулаковский послал губернатору в Гродно перевод с французского «Столп Каменца Литовского» и картину с изображением башни. В тексте указана дата основания Каменца - 1276 г. В «Гродненских губернских ведомостях» за 1845 г. была опубликована статья «Башня в Каменце Литовском», подписанная «Иг. К.». Автор (Игнатий Кулаковский) писал, что в 1837 г. он, будучи в Петербурге и Москве, ознакомился в музее Румянцева с Волынской летописью, найденной в 1809 г. Далее цитируется летописный рассказ об основании Каменца, но мотив постройки столпа высказан наивный: в память о пребывании князя. Сообщается, что внутри остались еще следы деревянных ступеней, а от половины высоты (?) идут вверх в стенах выложенные ступени. Своды каменные в дырах, в 1834 г. еще был вверху купол, также дырявый. Внизу в башне находятся обширные погреба.
В том же году гродненская строительная комиссия направила помощника архитектора Каленкевича в Каменец с заданием описать башню. Он ограничился кратким отчетом: башня имеет пять этажей, деревянные перекрытия и кирпичный свод, покрывающий верх, совершенно обрушились.
В книге «Древняя Польша», изданной в Варшаве в 1846 г., Михал Балинский описал кратко состояние Каменца и башни: «...теперь чахлое местечко, только один этот столп, без употребления уже почти пять веков, торчит своими руинами над массой низких халуп. Внутри этого почтенного памятника сохранились даже остатки дубовых лестниц Бог знает каких времен, но от середины высоты идут вверх ступени в стене; своды, хотя и продырявленные, как рыболовная сеть, однако еще держатся, под башней обширные подвалы». С Балинским осматривал и обмерял башню соседский помещик И.А. Херсонский, сделавший прекрасный рисунок. Описание Гродненской губернии М. Бобровского (1862 г.) также отмечает в башне каменные ступени и дубовые балки.
