香山人移居海外具有悠久的历史。据记载，香山人侨居海外的历史可追溯到1262年以前。总体来说，可以分为三个阶段，南宋末年至明朝初年，明朝至鸦片战争，晚清民初。

南宋覆灭前，数以万计的宋军残部和宗室大臣的家属，被迫滞留珠江三角洲。后来，蒙古统治者对那些曾在战场上与之浴血苦战的南宋军民的报复手段异常残暴，不仅扬言“屠潮居里”，而且只要搜获匿藏的宋朝官兵，往往当场格杀。其中，新任的蒙古籍香山县令达鲁花赤曾经传令：所有俘虏、犯人和失业欠债者，一律送去当奴隶，从此失去户籍。

为了逃避蒙古人的追捕，这些被搜捕者也只好逃到海外。当时，他们外逃的目的地主要是安南（今越南）的占城。南宋末年正是炎黄子孙第一次整批向海外移民的高潮。这些南宋军民就是我国最早的华侨。黄敬斋岳父林某可能便是其中之一。(www.daowen.com)

中山本土刊物《长洲乡音》曾刊登《江厦郡致中堂家谱》一文，记载长洲始祖黄敬斋流落海外时遇到的人可能是香山最早海外侨居的人们：“香山平岚（今三乡镇）林姓举家避乱外国，黄依之被招为女婿。”相传，福建人黄敬斋是南宋宝祐年间的进士，宋理宗景定三年（1262年），作为一品外交官的黄敬斋奉命前往安南（今越南）册封安南王。回国途中所乘船只遇到大风浪，黄敬斋一行的船被打翻后漂流到安南南部。当时蒙古大举入侵南宋，黄敬斋在安南一直等不到中国的救援船只，随后投靠了一家原籍香山平岚的林姓人家，并做了林家女婿。后来，黄敬斋听说宋帝昺已在新会崖门即位，便立刻乘船前往投奔，不料抵达香山时南宋已亡。一方面，黄敬斋不愿投靠蒙古人，另一方面，他担心累及国内的家人，他见香山县城西边的长洲环境宜人，便决心在此隐居，成为长洲的开村始祖，同时也成为了香山第一位有姓名留在史册上的归国华侨。也就是这段记载让史学家推断，平岚林姓至迟在南宋景定三年即1262年避乱侨居海外。