白云棠下是一座千年古村。据《新市镇志》记载，该村村民祖先原来住在长安附近，在唐代“安史之乱”时南下避乱建村，为铭记这段历史，将村名叫作“唐下”，也叫“唐夏”。后有人称，是因避讳皇帝名字而改为现名“棠下”。

　　如今村内，历史痕迹的只有宗祠。棠下村当地建有颜氏大宗祠纪念先祖。在宗祠中，有一块民国时期石碑“唐夏西约”，保留了棠下的原始名字。

　　对于“唐朝南下”一说，村中老人有不同说法。一位老人表示，该村村民的祖先是南宋时期从山东迁移南下，来到南雄珠玑巷，而后南迁至现在的棠下。这些事实可从颜氏大宗祠门口的对联“东鲁家声旧，南天气象新”得到佐证。上联“东鲁家声旧”说明了颜家家族渊源悠久，东鲁就是山东，孔门弟子颜回就是春秋战国时期的颜家先人。南宋时期，颜家为避战乱从山东来到南方，见到当地太平，风物秀美，与中原的纷乱判若两个世界，于是才有“南天气象新”的下联。

　　对于这两种说法，久住棠下当地的陈伯表示，唐夏为何会演变成为了“棠下”，这可能与附近的棠溪村有关的。“唐夏村处于棠溪南面，按照传统的上北下南的说法，唐夏是在棠溪下边，所以称唐夏为棠下是符合地名命名规律的，加上‘棠下’与‘唐夏’同音，将‘唐夏’称作‘棠下’也是有可能的。”