尽早返回奉天。关起门来搞独立，可张作霖大一统野心不死，对土肥原的建议置若罔闻，就是不愿离开北平。事已至此，土肥原这个原本力主支持奉系的人，终于坚定了除去张作霖的决心。土肥原开始与关东军高级参谋河本大作密谋。

　　1928年6月2日，面对大势已去的局面，张作霖才不得不宣布“退出京师”。6月4日清晨5时23分，当专列行至奉天皇姑屯火车站京奉线与南满线铁路交会处时，一声巨大的爆炸声响起，张作霖这个当时的中国国家元首就这样被暗杀了。

　　但是，东北的局势并未因皇姑屯事件引起混乱，给关东军出兵干预的借口。相反，由于张作相的鼎力支持，张学良迅速站稳了脚跟，因家仇而决定了易帜。日本最高当局对土肥原、河本大作等人的擅自行动，十分不满。河本大作被开除出军队，土肥原则在军部的掩护下侥幸逃脱了惩罚，只是被解除顾问职务。

　　1929年3月转任高田第30步兵联队联队长。

　　建立伪满州国

　　1930年4月起，蒋介石同冯玉祥、阎锡山的新军阀混土肥原贤二战开始，张学良借口调停，于9月18日率奉军7万进关，日军为了瓦解华北张学良的势力，

　　1931年3月，正式在天津设定特务机关，并任命土肥原为天津特务机关长。土肥原穿梭于旧北洋军阀之间，拼凑所谓“北洋派大同盟”，以对抗蒋介石与张学良的联合。

　　1931年7月他策动石友三与阎锡山、韩复榘结成反蒋驱张同盟，虽然并没有成功，但却使张学良把关内部队增至11万人，使东北的防务出现空虚，8月，他调任沈阳特务机关长，制造了所谓的中村事件，煽动战争狂热。土肥原在日本内阁会议上声称:“奉天政府即便是承认这个事实，但如不表示诚意，或者玩弄拖延谈判手段时，我们准备采取最大限度的报复手段。”

　　10天之后，日本关东军在板垣征四郎和石原莞尔等侵华分子的策动下，挑起了震惊中外的九一八事变。事变发生3天后，土肥原即从东京紧急返回，根据板垣征四郎的建议，出任沈阳市长。立即开始着手“整顿”奉天城的社会治安，建立“奉天地方自治维持会”等组织，派出约4000多名巡警上岗巡逻，加强警戒等。奉天城暂时恢复平静后，土肥原辞去奉天市长的职务，新市长由留学日本的华人赵欣伯担任。

　　对于在东北采取什么形式的殖民统治，日本国内和关东军内均有争论，板垣征四郎主张以此为契机，直接占领东北，作为日本的领地进行统治，一举彻底解决南北“满洲”问题。石原莞尔认为，不宜采取此种极端做法，应充分考虑到中国的民心以及国内外形势等，双方意见相持不下。

　　1931年9月22日，关东军参谋长三宅光治专门为此召开了一次会议。在会上，土肥原贤二提出了一个折中方案，即成立一个由日本控制、脱离中国本土的“满蒙五族共和国”，获得一致通过。关于这个国家的首脑，他提出利用废居天津前清宣统帝溥仪，因为当年冯玉祥发动北京政变，赶溥仪出宫的时候，溥仪走投无路，是他亲自把溥仪接到天津日本使馆保护起来的，他这一举动深得溥仪好感;同时，土肥原贤二还考虑到，让溥仪来统治清朝的发祥地“满洲”，更有名正言顺之意。

　　10月25日，关东军司令官本庄繁召见土肥原，正式授与他迎接溥仪的任务。两天之后，土肥原亲自前往天津，与蛰居于静园的溥仪会了面，在会面中，土肥原充满“真挚感情”地说道，“满洲”三千万人民民不聊生，日本人的权益和生命财产也得不到任何保障，这样，日本才不得已而出兵。关东军对“满洲”绝无领土野心，只是诚心诚意地帮助“满洲”人民建立自己的新国家，并且保证这个新国家的主权、领土将受到日本的保护。作为这个国家的元首，溥仪可以独立自主地行使权力。最后，他抓住溥仪一心想复辟的心理，力劝溥仪不要错过这个机会，回到祖先的发祥地，光复