时候被流放到海南岛。李光与赵鼎有过诗作上的唱和，胡铨来时赵鼎刚刚绝食自尽。李光和胡铨在海南岛住的时间很长，直到一一五六年秦桧死后才返回大陆。这样，他们就有可能平心静气地来体验海南岛了。尤其是李光，他在海南岛居留十余年直至八十多岁，他的案子曾祸及五十余家，跟随自己一起来海南岛的长子又死在自己前面，自己的案情由于不断被人告发而一再升级，实在也是够惨的，但他的心态越来越强健，原因是他与海南岛产生了认同，可以有滋有味地享受四周的自然风物了。生活十分艰苦，但只要听说市上有猪肉卖，他也会乐呵呵地让小兵通知几个朋友来吃饭：
颜乐箪瓢孔饭蔬，
先生休叹食无鱼。
小兵知我须招客，
市上今晨报有猪。
李光喜欢上了海南，由衷地希望它好起来。他支持发展当地的教育事业，遥想当年孔子曾希望鲁国变成一个文明的周王朝，如果海南也能大力推进儒学教化，孔子的理想说不定要在这里实现呢！“尼父道行千载后，坐令南海变东周”——他用诗句写出了自己对海南岛的信心。郡学落成那一天，他比谁都高兴。
他甚至并不盼望自己被赦回归，而是浪漫地幻想着如何在琼州海峡间架起一座长桥，把海南岛与大陆联结起来：
海北与海南，
各在天一方。
我老归无期，
两地遥相望。
宴坐桄榔庵，
守此岁月长。
愿子一咄嗟，
跨空结飞梁。
度此往来人，
鱼盐变耕桑！
实在是一种异想
天涯故事(10/22)