Этот дворец в турецкую эпоху служил местом для заключения ссыльных. Мартин Броневский говорит: "нередко случается, что ханы, взбешенные против послов московских и водимые варварским обычаем, затворяют их в этом доме и строго содержат". Что дворец превратился в каземат, видно из того, что окна его грубо заложены камнями, и оставлены только маленькие квадратные отверстия.