1948年1月27日，中共中央军委曾指示粟裕率领华东野战军（以下简称“华野”）3个主力纵队共10万兵力，渡过长江，以吸引中原地区国民党军20至30个旅回江南。渡江时间可在2月或5月或秋季，要粟裕熟筹见复。粟裕反复思考后，认为应尽可能多地把敌人消灭在长江以北。要打大歼灭战，集中兵力于江北有利，分兵渡江则不利。他在4月18日向军委的报告中建议：“刘邓、陈谢及华野主力依托后方（陇海以北）作战，以便得到足够的炮弹、炸药、手榴弹（新区因情况不能生产）之补给，发挥现有装备之作用（现在的敌人处于交通便利的中原，如无相当炮火难予歼灭），而便大量消灭敌人。”
毛泽东席对粟裕的意见极为重视，要粟裕与陈毅去中共中央所在地河北阜平城南庄面谈。
4月30日，毛泽东召开中央书记处扩大会，听取了粟裕的汇报。会议一致同意粟裕的意见。决定在4个月至8个月以内暂不向江南出动，集中兵力在中原作战。会后，决定陈毅去中原军区任第一副司令员（仍兼任华野司令员兼政委），由粟裕代理华野司令员兼政委。1948年6月17日至7月6日，粟裕指挥的豫东战役取得重大胜利。9月16日至24日，在粟裕、谭震林指挥下，华野又全歼济南11万守敌，取得济南战役的胜利。9月24日早晨，济南即将解放，粟裕在前线向中央军委提出了举行淮海战役的建议。
当时，华野下一步行动，可以有两个方向。一是经鲁西南越过敌人控制的郑（州）徐（州）线，与中野会合，在中原寻歼敌人。但是战场处在蒋介石的徐州集团与武汉集团之间，不利于集中兵力专打徐州集团。
粟裕提出另一个行动方向，华野由鲁南南下，出苏北，战淮海。他向中央军委报告：“建议即进行淮海战役，该战役可分两个阶段：第一阶段以苏北兵团（须加一个纵队）攻占两淮（按：即淮阴、淮安），并乘胜收复宝应、高邮，而以（华野）全军位于宿迁至运河车站沿线两岸，以歼灭可能来援之敌。如敌不援或被阻，而改经浦口长江自扬州北援，则我于两淮作战结束前后，即进行战役第二步，以三个纵队攻占海州、连云港，结束淮海战役，尔后全军转入休整。”
粟裕的举行淮海战役的建议提出以后，第二天，中央军委、毛泽东答复：“我们认为举行淮海战役，甚为必要。”同时指出：“估计不久邱清泉兵团将退回商丘、砀山地区，黄百韬兵团将回至新安镇运河车站地区，你们第一个作战，应以歼灭黄兵团于新安、运河之线为目标。”
9月28日军委、毛泽东指示华野：“你们淮海战役第一个作战，并且是最主要的作战，是钳制邱清泉、李弥两兵团，歼灭黄百韬兵团。新安镇地区距离徐州甚近，邱、李兵团赴援甚快。这一战役必比济南战役规模要大，比睢杞战役的规模也可能要大。因此，你们必须有相当时间使攻济兵团获得休整补充，并对全军作战所需包括全部后勤工作在内，有充分之准备，方能开始行动。战役时间包括打黄兵团、打东海（海州）、打两淮在内，须有一个月至一个半月。”这样，随着情况的变化，淮海战役的规模比粟裕建议的方案扩大了。