檀道济死后，淮河流域的屏障北府兵逐渐瓦解，檀道济死后15年，刘宋元嘉二十七年（450年），北魏大军甚至进攻到了与建康（南京）隔江相对的瓜步，对此，宋文帝刘义隆登上石头城北望感慨地说：“如果檀道济还在，怎么会到这个地步！”
而失去了淮河流域主动权的南朝各国，从此步步进入守势。
南朝梁武帝时期，梁武帝为了夺回淮河重镇寿阳，甚至耗费两年时间在淮河修筑了一道拦河大坝，并于公元516年扒开大坝水淹寿阳城。结果，由于北魏军民提前转移，这次水淹寿阳不仅没有伤害到北魏军，反而使得梁朝好不容易夺回的淮南地区，“缘淮城戍村落十余万口皆漂入海”。由于淮河被人为决堤，使得淮河流域的十多万人被洪水冲走，造成了一出人间惨剧。
到了梁武帝后期的公元548年，东魏叛将侯景从寿阳起兵南下，一年后攻占梁朝首都建康（南京），梁武帝被活活饿死。侯景之乱后，梁朝在长江以北的淮南领土几乎全部沦丧，此后，失去淮河流域屏障、代梁建立的陈朝成为南朝四国（宋、齐、梁、陈）中领土最少、实力最弱的朝代。