侬智高很快占领了数州：皇佑四年五月癸丑，侬军占领横州，知州、殿中丞张仲回和监押、东头供奉官王日用弃城而走。五月丙辰，侬军进占贵州，知州、秘书丞李琚不战而逃。
五月庚申，侬智高率军入龚州，知州、殿中丞张序弃城而遁。次日，侬军进攻藤州，知州、太子中舍李植逃之夭夭。侬军轻易地占领梧州，知州、秘书丞江镃没有抵抗，弃城而逃生。五月癸亥，侬军进据端州，知州丁宝臣惊魂落魄，不顾州城，仓皇逃命。
由于广南一带，很久没发生战事，军队如同虚设。侬智高率军四出，得以连陷横、贵、藤、梧、康、端、龚、封八州，守将相继逃跑。只知封州曹觐和康州赵师旦，率军出战，结果阵亡。
皇佑四年五月丙寅，侬智高率军攻到广州城，当即把广州围困了起来。六月甲申，广、端州都巡检高士尧在广州市船亭同侬智高进行了一次大战，结果被侬智高打败。由于广州知州魏瓘，鼓励兵民，登城死守。英州知州苏缄和转运使王罕，又率部去去增援，广州城才得以保全。
侬智高久攻广州不下，给了宋朝集中兵力南下的时间。赵祯接得警报，命令余靖为广西安抚使，杨畋为广南安抚使，同时调广东钤辖陈曙发兵西征。这时秦州知州孙淝入朝，赵祯询问他秦州的事情，孙淝奏道：“秦州的事情不用劳烦圣上，岭南的事情却是可忧。臣看贼势正盛，官军虽已去讨伐，却没有听说有将材前去，恐怕未必能报捷。”赵祯听完，只是默然不语。
侬智高听说朝廷援军将到，面对着日益紧张的形势，他只好解除了长达五十余日的广州之围。侬军退出广州，遇上苏缄在四十里长的路上布设槎木、巨石为碍，被迫绕道由沙头渡江，北上清远县，向连州、贺州进军。侬智高攻打贺州不下，在这里转战了一个多月。九月庚申，侬军西攻昭州，知州柳应辰弃城逃走，钤辖张忠出战败亡。侬智高夺下昭州，这是他离开广州后，首次攻下一座州城。
在侬智高率军进攻英州时，在那里守备的杨畋因怕被围攻，竟采用坚壁清野的办法，弃地烧粮。侬军于是绕过该城，继续向北进军韶州。这时宋军早有防备，侬智高吸取了围困广州的教训，不再屯兵城下，转战湟州，直指桂中、桂北。那里的守军溃不成军，闻风披靡。广西贺州很快被他攻破，侬军在那里还击毙了两个著名宋将，广南东路钤辖张忠及广南东西路钤辖蒋偕两员大将。
赵祯接到败报， 于是任命孙淝为湖南、江西按抚使。孙淝请求到了骑兵七百人，即日出发。他还传檄给湖南、江西各州县，说道：“大军将到，各地要修缮营垒，多被战具，不得延误！”侬智高本来想，乘胜越过五岭向北进攻。听了这篇檄文后，侬智高于是不敢北侵。等孙淝到了鼎州，朝廷加他为广南安抚使，召回杨畋。
侬智高却在此时上书，请求担任邕桂节度使。赵祯打算同意
他的请求，参政梁适说道：“侬智高猖獗已甚，如果再姑息了事，岭南将不会再归朝廷所有了。”赵祯说道：“杨畋无功，也没有看到余靖等人上奏报捷，如何是好？”他的话音未落，有一人出班上奏道：“臣愿意奉旨南讨，生擒贼首，献给皇上。”
赵祯一看，却是枢密副使狄青，于是大喜道：“卿愿意南征，自然最好。不知你要用多少人马？”狄青说道：“臣是当兵的出身，除了在战场杀敌，没有什么可以报效国家。希望能带着数百个蕃落骑兵，再加上一万禁兵，去将叛贼的头砍下送回京城。”赵祯说道：“卿既然想去，事不宜迟，朕就命卿宣抚荆湖。卿去整顿行装，指日出发好了。”狄青拜谢而退。
宋朝的制度是重文轻武，文臣授于节钺，已经成为习惯。此次单独任命武将，免不得议论纷纷。谏官韩绛竟上奏说道：“狄青一介武夫，不应专任。”赵祯想任命内都知任守忠为副使。知谏院李兑又上奏说道：“宦官不应掌兵。”赵祯疑惑不定，难以决断。
赵祯于是召首相庞籍询问，庞籍