隋朝建立之初，与之并存的政权有后梁和陈。后梁，是占据江陵(今属湖北)及周围数县的小国，其皇帝萧琮于开皇七年(587)到长安朝见隋文帝，被扣留，文帝命襄州(今湖北襄阳)总管崔弘度带兵进驻江陵，遂灭后梁。陈朝，是江南大国，与隋为敌，曾于公元581和588年攻隋，一度占去胡墅(今江苏六合县东)。可见，隋的统一，主要是灭陈。隋文帝杨坚即位后，进行了一系列政治经济改革，又多次赈济灾民、减免赋役，发展生产，稳定政权。在隋朝奋力图强的同时，江南的陈朝极端腐败。其皇帝陈后主陈叔宝，沉迷酒色，不理国事，同贵妃张丽华、宰相江总等一群大臣妃嫔，经常游宴后庭，夹坐赋诗，长歌酣饮，通夜达旦。还用沉香、檀香木建筑临春、结绮、望仙三阁，又造大皇寺、齐云观，穷极侈丽，士民愤怨，歌曰：“齐云观，‘寇’来无际畔”，表明陈朝人民对陈的统治深恶痛绝，盼望隋朝来拯救他们。开皇七年，隋文帝做渡江灭陈的准备，派清河公杨素到永安(今四川奉节)督造五牙、黄龙等大战舰，疏通了扬州境内的山阳渎运河，以使舟师能够通过。为取得人民对灭陈的支持，次年三月发布讨陈诏书，并抄写三十万张散发到江南。十月，命晋王杨广、秦王杨俊和杨素为行军元帅，率九十总管、五十一万八千大军，八路出兵，由杨广节制，大举灭陈。十二月，隋军抵达长江北岸，陈边将飞书告急，而陈朝君臣却仰仗王气在金陵(即陈都建康)，仍然纵酒赋诗不辍。开皇九年(589)正月，隋将韩擒虎、贺若弼率军渡过长江，很快进逼建康城下。陈朝老将任忠投降，引隋军从朱雀门入城。陈后主和张贵妃、孔贵嫔，被隋军用绳子从景阳殿枯井中拉出来，投降了隋朝，长江上游的陈军也随即投降。隋灭陈，是“吊民伐罪”的正义战争，又做了充分准备，所以前后不过四个月就取得了成功。它结束了汉献帝初平元年(190)以来近四百年的纷乱局面(中间有西晋36年的短期统一)。人民有了较安定的社会环境从事生产，到隋文帝末年，储备的粮食可供多年食用。说明隋的统一，促进了社会经济的发展。统一国家的出现，带来了南北方经济、文化发展成就的结合，为唐朝的繁荣奠定了基础。有关隋统一的史事，记载在《隋书高祖纪》、《南史·陈本纪》、《资治通鉴·隋纪·高祖文皇帝》中。