Yüzyıllar boyunca Yunanlar ve Türklerin bir arada yaşadığı bu köyde Türkler tarım ve hayvancılıkla, Yunanlar ise zanaat ve ticaretle ilgilenmiştir. Ancak iki ülke arasında yaşanan savaş, bu yöredeki dostluk bağlarını da zedelemiştir.
1923 yılında gerçekleşen mübadelelerde Anadolu’da yaşayan Hıristiyanlar Yunanistan’a, Balkanlarda yaşayan Müslüman Türkler ise Kayaköy’e getirilmiştir. Ancak bu yöreye alışamayan halk Anadolu’nun başka yerlerine göç etmiştir.
Köyün terk edilmesinden sonra Kayaköy, hayalet kasaba olarak anılmaya başlamıştır. 14. yüzyıldan beri bölgede varlığını koruyan kasabanın mimarisi Bizans döneminden esinlenmiştir.
Evler birbirinin manzarasını ve ışık kaynağını kesmemek için kademeli olarak inşa edilmiştir. Taş evlerin çoğu iki katlıdır ve 1000 kadar ev bulunur.
Günümüzde turistlerin uğrak yeri olan Kayaköy, görenleri güzelliğiyle büyülemektedir. Bölgede pek çok ufak kafe ve turistik eşya satan dükkan da bulunmaktadır.
