1949年4月20日晚和21日，中国人民解放军第二、第三野战军遵照中央军委的命令和总前委的《京沪杭战役实施纲要》，先后渡江。百万雄师在西起湖口、东至江阴的千里战线上强渡长江，迅速突破国民党军的江防，彻底摧毁了国民党军的长江防线。其实，早在1947年中央军委就有了渡江作战的想法。
1947年7月23日，中共中央军委决定刘邓大军“下决心不要后方，以半个月行程，直出大别山”，在电报上要“叶(飞)、陶(勇)两纵出闽浙赣，创立闽浙赣根据地。其步骤是：第一步，于现地休整数日，迅速歼击泰安、大汉口、平阴、东阿、东平地区之敌，占领该区”，以一个半月至两个月时间在该区内完成休息、补充、配备干部及政治动员；第二步，出至皖西，建立临时根据地；第三步，至闽浙赣目的地，两广纵队受叶、陶指挥随同南下。这次要叶、陶率部南渡长江是我军执行外线作战方针，将战争引向国民党区域的一个重要措施。
此时，刘邓大军正在山东运河以西进行鲁西南战役。叶飞、陶勇率领的华野第一、第四纵队和陈士渠、唐亮率领的华野第三、第八、第十纵队正在山东运河以东地区发动攻势，与刘邓大军夹运河东西呼应。1947年7月28日晚，刘邓大军在鲁西南结束战役，歼敌6万余人。此后，刘邓大军进行跃进大别山的准备工作。刘邓兵出陇海线以南之后，谁在陇海线以北牵制鲁西南的敌军以掩护刘大军邓南下呢?这个任务就落在了陈唐叶陶率领的华野五个纵队的肩上了。8月1日这五个纵队在山东济宁地区会合以后，随即奉中央军委和华野之命，西渡运河进入鲁西南地区。8月4日毛泽东为中央军委起草给陈粟的电报中指出：“山东主力(陈唐叶陶五个纵队)现在西边，……请考虑粟裕同志带炮兵主力迅去鲁西南统一指挥该五个纵队，积极策应刘邓作战。”刘邓南下作战能否胜利，一半取决陈唐叶陶五个纵队是否能起大作用。但是，这五个纵队外线出击后，在雨季中经过一个月的连续作战，叶陶两纵各减员约1万人，实力下降。所以粟裕向陈毅建议，除按中央军委指示增调特种兵纵队前往鲁西南外，并建议再增调第六纵队前去。鉴于华野今后主要战场在外线，建议陈毅一起西去，并将华野领导机关亦移往，留下三个纵队在山东，组成山东兵团，由谭震林、许世友指挥。经陈毅同意，8月5日由陈、粟联名上报。次日(6日)中央军委批复“完全同意”。7日，毛泽东为中央军委起草电报，指出：“只要陈粟六个纵队，集中处于内线一切有办法，如果分散南进，则全局不利。”这样，中央军委就改变了原定叶飞、陶勇率两个纵队和两广纵队分兵南下渡江的计划，改为集中在鲁西南作战。