泰始六年（公元270年），鲜卑秃发树机能起兵反晋，并于六月在万斛堆的战争中杀秦州刺史胡烈，又在金山击败凉州刺史苏愉。

泰始七年（公元271年），树机能联合其他胡人在青山围困凉州刺史牵弘，牵弘军败而死。

司马炎命汝阴王司马骏为镇西大将军，都督雍、凉等州诸军事，坐镇关中，咸宁元年（公元275年），司马骏对鲜卑进行讨伐]，消灭三千多人，树机能送质子向晋朝请降。

咸宁三年（公元277年），因秃发树机能意图劫夺佃兵，晋将文鸯率军讨伐，树机能战败，诸胡共计有二十万人归降。

咸宁四年（公元278年），秃发树机能命部将若罗拔能在武威大破晋军，斩杀凉州刺史杨欣。咸宁五年（279年）正月，秃发树机能攻陷凉州，司马炎非常后悔，临朝哀叹后说道：“谁能为朕讨此虏者？”

马隆请命而往，率三千五百勇士西征。期间，匈奴刘渊也自请而往，孔恂、杨珧坚决反对，认为刘渊的祸患远大于秃发树机能。马隆向西渡过温水，秃发树机能等人带领几万名部众凭借险阻抵抗。因为山路狭隘，马隆就造了扁箱车，还造了木屋，置于车上，边作战边前进，走了一千多里，打得敌人死的死，伤的伤，损失惨重。自从马隆西去，音讯断绝，朝廷为他担忧，有的人说他们已经都死了。

后来马隆的使者夜里到了，司马炎拍着手高兴地笑了。清晨，召集群臣对他们说道：“假如听从了渚位的意见，就没有凉州了。”于是下命令，赐给马隆符节，授官宣威将军。马隆到了武威，鲜卑部落首领猝跋韩且万能率领一万多部落来归降。十二月，马隆与树机能大战，杀了树机能，凉州于是平定。

西晋成立之初，司马炎为了收买人心，大封功臣，许多大家族都被封为公侯。短短几年时间，司马炎共封了57个王，500多个公侯。蜀汉灭亡不久，司马炎为了稳定巴蜀人心，又任用了一批原在蜀汉供职的官吏为朝官。司马炎没有采取“一朝天子一朝臣”的惯用手法，而是采取拉拢、收买人心的办法，稳定各级官吏，以确保社会稳定地过渡。因为司马炎还看到，蜀汉虽亡，东吴未灭，全国还未统一。于是他开始运筹帷幄，准备击灭东吴，结束全国的分裂局面。

早在三国鼎立之时，魏的势力已超过蜀、吴，如以人口计，魏约占全国人口的近半数。263年，魏灭蜀之后，三国鼎立变成了南北对峙，魏的力量更加强大。司马炎代魏之后，雄心勃勃，“密有灭吴之计”，准备出兵灭吴，统一全国。

晋朝全国正处于一种积极的态势之中，然吴国却是在走下坡路。吴主孙皓的荒淫、残暴使吴国丧失了重整旗鼓的机会。孙皓命令大臣的女儿要先经过他的挑选，漂亮的入后宫供他一人享受，剩下的才能谈婚论嫁，这使他丧失了大臣们的支持，自毁根本，最终成了孤家寡人。对他劝谏的中书令贺邵不但没有受到他的表扬，反用烧红的锯条残忍地锯下了舌头，其残暴程度与商纣王没有任何区别。

孙皓杀人的方法很多，很残忍，像挖眼、剥脸皮和砍掉双脚等。孙皓的残暴注定了他要灭亡。由于孙皓的残暴使手下的将领们也对他丧失了信心，纷纷投降西晋。西晋的大臣们见吴国国力下降，政局不稳，也纷纷劝说司马炎趁机灭掉吴国。

但是，司马炎受到了以太尉录尚书事贾充为首的保守派的反对，他们认为：吴有长江天险，且善水战，北人难以取胜。鲜卑举兵反晋，此时对吴作战，并“非其时”。而羊祜、张华、杜预等人则认为：吴帝孙皓腐化透顶，他不但对广大人民残酷剥削、镇压，而且在统治集团内部也排除异己，用刑残酷。孙吴现已是“上下离心”，如此刻出兵，“可不战而胜”。如果错过机会，“吴人更立令主”，励精图治，再去灭吴就相当不容易了。

两派意见，针锋相对。这样，一个极其严重的问题就摆在了司马炎面前：是否出兵灭吴，统一全国？司马炎站在主战派一边。