Генуэзцы обосновались на территории современной Балаклавы около 1343 года (следов более древних строений на территории крепости не сохранилось). Примерно в середине XIV века на горе Кастрон появились первые крепостные укрепления. Судя по всему, по северному склону это был ров и вал, укреплённый частоколом, а с северо-востока была устроена каменная башня с воротным поездом. Следы этих первоначальных сооружений сохранились на северном склоне горы. Однако в 1354 году ордынский хан Джанибек взял крепость и сжёг существовавшие к тому времени строения.