水师舰队，挑起了甲午战争，战火很快蔓延到黄海、渤海、辽东半岛和山东半岛。让萨镇冰感到遗憾的是，他未能指挥军舰参加黄海海战。

　　光绪二十一年(1895年)1月，威海卫之战打响，萨镇冰奉命驻守日岛。恶劣的生活环境，加上劳累过度，萨镇冰病倒了，夫人陈氏闻讯从福州赶来探视，被萨镇冰下令撤开扶梯，不准夫人登舰。左右将士极力相劝，萨镇冰断然答道:“此地非同寻常，此时非同寻常，怎能允其登舰告她当我已死，令其速回!”1月底，日岛卫战爆发，时值隆冬，大雪纷飞。日军以18艘舰艇分四批轮番进攻，并从已被日军占领的威海卫南北炮台以猛烈的炮火狂轰日岛，在十分险恶的情况下，萨镇冰始终沉着指挥反击，英勇抵抗了11天，最后在接到提督丁汝昌的命令下才撤回刘公岛。2月3日，威海陆地悉数被日军占领，刘公岛已是孤岛。丁汝昌在屡次拒绝投降后，于2月11日夜饮药殉国。三天后，北洋海军威海营务处提调道员牛昶昞与伊东佑亨签订《威海降约》。北洋练习舰康济号被解除武装，交还中国。

　　甲午战争以清军失败告终，残存下的所有海军官兵遭革遣返乡，萨镇冰也回到福州。此时他父母已逝，不久妻子也过世了，萨镇冰囊空如洗，家计维艰，连两个子女也无法抚养，只好到官绅家庭当塾师挣钱糊口，过了半年。

　　任职新军

　　光绪二十二年(1896年)两江总督张之洞礼聘他当吴淞炮台总台官，升他为自强军帮统。1898年，清政府议重建海军，分别向英国和德国定购了“海天”、“海圻”等舰，并开复北洋海军副将叶祖珪的革职处分，授为北京海军水师统领。叶祖珪认为萨镇冰的学识、经验、为人等均远胜于己，遂向朝廷推荐由萨镇冰来任水师统领一职，萨镇冰坚持不受，于是清廷便授予萨镇冰担任帮统兼“海圻”号管带。

　　萨镇冰曾管带的光绪二十五年(1899年)任通济练习舰管带，旋调任北洋海军帮统。光绪二十六年(1900年)兼带海圻巡洋舰。八国联军侵华之后，清政府签订《辛丑条约》，议和大臣中有人提出将“海天”、“海圻”等5艘大型军舰出售，撤销一切防务，以表示中国绝无对外备战之意，以此讨好外国人，此提议一经提出，即遭到萨镇冰等的强烈反对，后来在叶祖珪等爱国将领的抗议下被废除。

　　光绪二十八年(1902年)，叶祖珪调驻天津，萨镇冰开始统领全部北洋海军舰艇。萨镇冰到任之后，成立了负责培训士兵的海军练营。海军练营设在东炮台附近，“正当海边，且内有余屋”。萨镇冰认为，这些旧营房稍加整修，就可以用作海军学校的校舍。

　　创校取材

　　自甲午战争结束后不久，清政府开始重建北洋海军。此时，急需大批海军人才，而北洋原有的海军学校--天津水师学堂，在八国联军之役中已毁于兵燹。于是，萨镇冰奉命择址另建海军学校。经过反复论证，最后他把校址选在了烟台。当时，曾作为北洋海军基地的天津、旅顺、青岛、威海等港口相继被列强瓜分，在剩下的北洋港口中，烟台的条件相对较好。选择在烟台建校也有“就地取材”的考虑。他在甲午战争中曾亲眼目睹文登、荣成籍的水手勇猛善战。因此，他决定在烟台建校，以便多招收一些烟、威一带的学生入校学习。随即开始对北洋海军进行整顿，萨镇冰不尚空谈，经常乘坐舰只在海上游弋视察，并亲自指导海军官兵练习航海驾驶技术以及演放鱼雷、打炮靶、备战操练等战斗技术。

　　光绪二十九年(1903年)升任北洋海军统领，仍兼带“海圻”舰。冬天，烟台海校正式开办，当时称“水师学堂”，附设在海军练营内，萨镇冰亲自为学校制订了“开办水师学堂章程”。为适应快出人才的需要，萨镇冰进行了大胆改革，把学制从原来的5年缩短为3年，只保留驾驶专业，专门培养海军指挥军官。烟台海校创建不久，便取得了骄人的成绩。

　　光绪三十一