Tarihi çok eskilere kadar inen bu koyun Lelegler tarafından iskan edildiği ve buradaki antik şehrin Pedasos ismiyle anıldığı biliniyor. Hatta Pedasos un kurulan yarımadadaki 8 Leleg şehrinin ilki ve bu şehirlerin başkenti olduğu ileri sürülüyor. Koya adını veren ve bir burun üzerinde yapılmış kale Helenistik dönemde inşa edilmiş.
Yapıların bir çoğu Helenistik dönem mimarisinin örnekleri olarak ilgi çekmektedir. Eskiden Bodrum kadıları önemli kararları almak için bu binalarda toplanırlarmış. Kadıkalesi Osmanlı İmparatorluğu döneminde yöresel kararların alındığı en önemli bir yer olmuş. Yine Osmanlı döneminde donanmanın ikmal limanı olarak kullanılmış daha sonraları Kos adası ve Kalimnos adası ile sınır ticaretinde önemli rol oynamış.
Peksimet köyü yalısı olarak bilinen Kadıkalesi çok eski bir yerleşim ve ticaret merkezidir. Köyün tepesindeki Rum kilisesi, yaklaşık olarak yüzyıldan uzun bir süredir, oldukça iyi bir durumda bulunmaktadır. Kapısının arkasındaki Rum tasvirlerinin hiç örselenmemiş olması şaşırtıcıdır.
Yakın dönemde de bodrumunun sebze ve meyve merkezi olan Kadıkalesi nde turizm de hızla gelişmektedir. Bodrum yarımadasının en batı ucunda yer almakta olan koyda bazı iskele ve restoranlar bu sakin kıyıda dağınık olarak yer alır. Deniz ile yeşilliği birlikte barındıran bozulmamış doğası adalar panoraması ile Kadıkalesi bilinmeyenler için mutlaka keşfedilmesi gereken doğa harikası bir yerdir.