Suku Chao-Le yang tinggal di pulau ini menganut kepercayaan animisme. Mereka percaya kalau Pulau Ko Lipe dipenuhi oleh sekumpulan roh yang mereka sebut ha-too. Ha-too adalah roh yang kasar dan suka menjahili manusia. Karena itu tak jarang wisatawan yang mengalami kejadian aneh saat berkunjung ke pulau ini.