双庙村地势高险，村落相对隐蔽，早期村民多出于躲避水患、战乱等灾难，由平原地区迁徙而来，在此繁衍生息。李氏家族的进山始祖在唐朝时就已迁入此处，算是双庙村最早定居的家族。最先迁入双庙的是李氏三兄弟，他们在唐朝末年为了躲避水患，从湖南来到利川。两个哥哥到达忠路镇集镇一带，就停止了迁徙，其中二哥将李姓改为“木”。而最小的弟弟继续前行，到达双庙村之后，觉得此处地势高绝，绝不会有洪涝之患，便在此定居。三人将盘摔碎，相约子孙后代相认需执盘为凭。在双庙定居的李氏家族发展较好，人丁兴旺，殷实富裕，为了感念祖先的护佑，便修建了家庙。

目前，陈氏家族对于家族迁徙的经历记忆犹新。据陈氏村民介绍，三百多年前，陈氏家族的“进山公”是湘西州泸溪县人，他被迫背井离乡，投奔到双庙村的外祖父家——李氏家族。陈氏最早在现三组定居，其外祖母家在现七组一带，繁衍至第三代之后，陈氏家族人丁兴旺起来，便要分家。而此时住在七组的外祖母病重需要人照顾，其中一房就搬至窦家山，即现在的七组定居。从最初搬到窦家山的陈开滔算起，到今天，陈氏家族在此处已经繁衍到了第十二代。该分支后代的主体大都居住在窦家山老宅内。1949年以后，老宅里陆陆续续搬来了外姓人。看见李氏家族修建了家庙，陈氏家族也不甘落后，将家庙从山王庙搬至李氏家族宗庙的对面，进行了重新修建。

陈氏族谱（冉石卉　摄）(www.daowen.com)

卢氏家族则是在清乾隆五十年（1785年）由贵州铜仁府铜仁县避难迁徙至双庙村，为纪念祖先将所居地命名为“卢家坝”，至今繁衍十二代。这些家族历史的传说，携带着村民的集体记忆，已经成为双庙村传统文化的一部分，世代流传、经久不息。