Dahulu kala disebuah kampung di pinggir laut, hiduplah empat bersaudara dari Putih Doh. Mereka dari kalangan biasa tapi memiliki kesaktian yang luar biasa, tetapi yang paling sakti si bungsu Raden Mas Antawijaya. Mereka memiliki sawah yang begitu luas, tetapi lambat laun tanah mereka sedikit demi sedikit berkurang, dikarenakan Raden Mas Antawijaya membuat kekacauan, dan penduduk menghukumnya dengan mengambil sedikit tanahnya. Ini menyebabkan kemarahan dari ketiga saudaranya. Dan terjadi pertarungan diantara mereka. Karena Raden Mas Antawijaya tahu kapan ajalnya tiba, dan merasakan semakin dekat ajalnya kemudian dia mengajukan beberapa persyaratan. Mereka pergi ke sebuah pulau yang tidak berpenghuni.  Disini mereka menanam padi dan pohon kelapa. Tak terasa pulau yang awalnya gersang, kini begitu permai.  Setelah tumbuh subur barulah ia memberitahukan kelemahannya. Ia meminta kepada saudaranya untuk mencarikan sebuah bamban bukhung yaitu sebuah bambu hutan karena bamban bukhung itulah yang menjadi kelemahannya. Dan akhirnya ia pun bisa dikalahkan. Jasadnya dimakamkan diatas bukit di sebuah pulau yang diberi tanda berupa tumpukan batu dan selembar kain putih yang sudah usang. Pulau tersebut bernama Pulau Kiluan yang artinya pulau permintaan. Dan menurut  cerita, begitulah asal mula Pulau Kiluan.