当初魏帝单骑北逃时，宫内的侍卫和嫔妃都没有带走。元颢得志后，荒于酒色，不理朝政。闰六月，元颢暗中和临淮王元彧、安丰王元延明勾结，准备叛梁。因见时机尚未成熟，还要借助陈庆之之力，所以外同内异，言多忌刻。陈庆之也心中自知，暗自策划对策。他对元颢说：“今远来至此，未伏尚多，若人知虚实，方更连兵，而安不忘危，须预为其策。宜启天子，更请精兵；并勒诸州，有南人没此者，悉须部送”（《梁书·陈庆之列传》）。元颢听后觉得有道，便想从之。时元延明却对他说：“陈庆之兵不出数千，已自难制；今增其众，宁肯复为用乎？权柄一去，动转听人，魏之宗社，于斯而灭”（《梁书·陈庆之列传》）。元颢因此开始猜忌陈庆之，渐渐疏远他。考虑到陈庆之会密奏梁武帝，便抢先上书说：“河北、河南一时已定，唯尔朱荣尚敢跋扈，臣与庆之自能擒讨。今州郡新服，正须绥抚，不宜更复加兵，摇动百姓”（《梁书·陈庆之列传》）。于是梁武帝诏令都停在边界地区。
时候在洛阳城中梁不足万人，而魏军则十倍于梁军。军副马佛念劝陈庆之自立，对他说：“功高不赏，震主身危，二事既有，将军岂得无虑？自古以来，废昏立明，扶危定难，鲜有得终。今将军威震中原，声动河塞，屠颢据洛，则千载一时也”（《梁书·陈庆之列传》）。但陈庆之不从。
元颢先前曾任命陈庆之为徐州刺史，陈庆之便坚持去徐州赴任。元颢心中忌惮，始终没有放行，并对陈庆之说：“主上以洛阳之地全相任委，忽闻舍此朝寄，欲往彭城，谓君遽取富贵，不为国计，手敕频仍，恐成仆责”（《梁书·陈庆之列传》）。陈庆之闻后，遂不敢再言。
元颢据洛阳六十五天，所得之城闻尔朱荣大军至，一时全部归魏 ?朱荣率军南下与元颢军隔黄河对峙。陈庆之守北中城（今河南孟县附近），元颢据守河桥南岸。陈庆之与魏军三日十一战，杀伤甚众，尔朱荣准备退军。不久，尔朱荣用部下之计，遣车骑将军尔朱兆与大都督贺拔胜缚木筏，自马渚西硖石夜渡，袭击元颢军，元颢领军将军冠受被俘。元颢守河防的部队闻讯溃退。元颢仅率数百骑逃走。至临颍（今河南临颍西北），其部卒皆散，元颢被擒杀，洛阳为魏军所占 ?朱荣率军南攻，陈庆之收容步骑兵数千人结阵东撤 ?朱荣军追击，至嵩高（今河南登封北）时，因河水上涨，山洪暴发，梁军士卒死散殆尽。陈庆之只好剃除须发，化装成僧人，抄近道回豫州，在豫州人程道雍的帮助下，回到建康。
陈庆之攻魏的作战虽因孤军深入，后援无继，而以失败结束，但这不能因此否定陈庆之的军事才能，陈庆之仅以7000之众北伐，连克魏军，以少胜多，占领了洛阳等30余城，自古用兵未之有也。所以梁武帝在陈庆之回建康后，仍封他为右卫将军，永兴侯，邑一千五百户。此战以后，北魏国力大衰，大权握在尔朱氏手中。中大通四年（532年），高欢诛杀尔朱氏，夺取北魏朝政大权。中大通六年（534年）和七年（535年），高欢和宇文泰先后立元善见和元宝炬为帝，史称东魏和西魏，北魏从此灭亡。
陈庆之南归后，特尊重北人，朱异觉得奇怪，便问他，陈庆之说：“吾始以为大江以北皆戎狄之乡，比至洛阳，乃知衣冠人物尽在中原，非江东所及也，奈何轻之”（《资治通鉴·卷第一百五十三》）？
十二月，梁武帝以陈庆之为持节、都督缘淮诸军事、奋武将军、北兖州刺史。时有妖僧僧强自称天子，土豪蔡伯龙也起兵与之相应，众至3万，攻陷北徐州。济阴太守杨起文弃城而逃，钟离太守单希宝被害。梁武帝诏令陈庆之前去征讨，并亲自临白下城为其饯行。梁武帝对陈庆之说：“江、淮兵劲，其锋难当，卿可以策制之，不宜决战”（《梁书·陈庆之列传》）。陈庆之受命而行，未到十二天，便斩蔡伯龙、僧强，传首建康。
中大通二年（公元530年），梁武帝以陈庆之为都督南、北司、西豫、豫四州诸军事、南、北司二州刺史，其余如故。陈庆之到任后，遂围悬瓠（今河南汝南），破魏颍州刺史娄起、扬州刺史是云宝于溱水，又破行台孙腾、大都督侯进、豫州刺史尧雄、梁州刺史司马恭于楚城。陈庆之随即减免了义阳镇的兵役，停止水运补给，使江湘诸州得以休养生息。并开田六千顷，二年之后，粮食充实。梁武帝为此经常嘉奖陈庆之。同时又陈庆之又表请精简南司州为安陆郡，置上明郡。
大同元年（公元535年）二月，陈庆之攻东魏，与东魏豫州刺史尧雄交战，因不利而还。
大同二年（公元536年）十月，东魏定州刺史侯景率7万人寇楚州，俘楚州刺史桓和，侯景乘胜进军淮上，并写了信劝陈庆之投降。梁武帝遣侯退、侯夔等前去增援，军至黎浆，陈庆之已击破侯景。时值大寒雪，侯景弃辎重而逃，陈庆之则收其辎重而还。同年，豫州闹饥荒，陈庆之开仓放粮济灾民，使大部分灾民得以度过饥荒。以李升为首的800多名豫州百姓请求为陈庆之树碑颂德，梁武帝下诏批准。
大同五年（公元539年）十月，陈庆之去世，时年五十六岁。梁武帝以其忠于职守，战功卓著，政绩斐然，追赠他为散骑常侍、左卫将军，鼓吹一部，谥曰“武”，还诏令义兴郡发500人为其会丧。长子陈昭嗣。
陈庆之性格祗慎，每次奉诏，都要洗沐拜受；生活俭朴，只穿素衣，而且不好丝竹；虽身为武将，但射箭却不能穿札，而且也不善于骑马，但善抚士卒，能使部下为其效死力。更为难得的是陈庆之出自寒门，在梁朝历史上能达到这样成就的，只有他和俞药（官至云旗将军，安州刺史）。
点评：陈庆之一生征战，常设奇谋，多为以少胜多，而且长于攻城。无论是北伐横扫河洛，或挥师驰骋边陲，均充分显示其杰出的军事才能。北伐之战，可谓气吞万里如虎，连毛泽东读《陈庆之传》至此，也不尽为之神往。“陈庆之有将略，战胜攻取，盖颇、牧、卫、霍之亚欤。庆之警悟，早侍高祖，既预旧恩，加之谨肃，蝉冕组佩，亦一世之荣矣”（《梁书·陈庆之列传》）。“陈庆之初同燕雀之游，终怀鸿鹄之志，及乎一见任委，长驱伊、洛。前无强阵，攻靡坚城，虽南风不竞，晚致倾覆，其所克捷，亦足称之”（《南史·陈庆之列传》）。