关于当时迁徙的原因和情景，在这些移民的后裔中流传着这样的故事：相传在朱元璋在建立明朝的过程中，一个得力而勇猛的大将军胡大海为他出生入死，立下了汗马功劳，因此，在开国大典后，朱元璋要论功行赏，就问胡大海想要什么，结果胡大海竟然恶狠狠地要求杀光河南的百姓。原来胡大海参加起义前，由于一时落魄，在河南一带讨饭，但当地百姓看到他长得过于凶狠可怕都不愿施舍，胡大海差点被饿死，因此，他得势后只想报复。朱元璋觉得牵涉的面积太大，但又考虑到胡大海的赫赫战功，于是答应他可以在河南界内射一支箭，他只可以杀这支箭射出范围内的人。不料，胡大海这支箭射在一支大雁的尾巴上，受伤的大雁飞出河南界内，竟一直飞到了山东，胡大海跟着飞雁一路追杀，几乎将河南、山东等地的人杀光了。朱元璋因为“天子一言，驷马难追”，只好开始从当时地少人密的山西调拨人口过去。
当时，明政府完全不顾移民地区百姓的想法，贴出告示：“愿意移民的人，在家等待。不愿移民的人，三天内赶到洪洞县的大槐树下集合。”于是，3天内大约有十来万的不愿离乡背井的人聚集到树下，大批官兵突然将他们通通围住，全部捆绑起来，在百姓一片哭喊叫骂中开始登记造册。移民们临行之时，悲伤地看着故乡，听着栖息在树杈间的老鸹发出一声声哀鸣，潸然泪下，频频回首。为此，大槐树和老鸹窝就成为移民惜别家乡的标志，也因此留下了那四句民谣。据说当时官兵怕有人逃跑，就在移民们的小脚趾上砍了一刀来识别身份，因此，移民后裔的小脚趾甲都是复形的，也因此留下了“谁是古槐迁来人，脱履足趾验甲形”的话来。还有在迁徙过程中，移民都是被反绑着双手来长途迁移的，因此，移民的后裔也喜欢背着手走路。从明初洪武三年（1370）直至永乐十五年（1417），前后将近半个世纪。山西两府51县的百姓分别被遣送至北京、河北、河南、山东、安徽、江苏、湖北等地，范围之广几乎占到了大部分的国土，而他们的后辈还有再次迁徙到了国外的。