陈汤等人得到康居城的详细消息后，第二天就带领军队前进，在离城还有三十里停下扎营。此时，郅支单于也知道了汉军的动向，于是派使者来问汉朝军队为何而来，陈汤等人以单于曾上书说现在处境困难，愿意归附汉朝，亲自入汉朝朝见为由，派都护将军来迎接单于的妻子和儿女，但又怕惊动了单于的左右，因此军队不敢到城下。单于的使者多次往来询问情况，甘延寿、陈汤于是责备单于，大汉的军队远道而来，单于非但不尽地主之谊，反而处处为难，劝使者进谏单于，同大臣们审慎考虑同汉军见面的计划安排。
又过几天，陈汤见郅支单于诱骗不出，于是将军队向前开进抵达郅支城的都赖水上游，离城有三里，停下安营布阵。汉军清楚地看见，单于城上立有五彩旗帜，几百人披着锁甲登城守备，又有出百余名骑兵往来奔驰于城下，步兵百余人在城门两边像鱼鳞一样布下阵式，讲授操演用兵的方法，一副对汉军严阵以待的样子。
单于想试试汉军的虚实，就让城上的人向汉军喊道：“来跟我决战！”并派一百多名骑兵奔驰着冲向汉军营地，陈汤命令营地的士兵都拉满弓指向骑兵，骑兵就引退了，然后再派人射击城门的骑兵和步兵，骑兵和步兵都进城而去。甘延寿和陈汤命令军队听到鼓声后都逼近城下，从四面围住城，各有自己的任务，有的挖濠沟，有的堵塞城门，拿盾牌的人在前面，拿刀戟弓剑的在后面，向上射击城楼上的人，楼上的人就跑到了楼下。这座城分为几层，最外面的是木城，匈奴军从木城中射击，杀伤了不少外面的汉军，汉军就用柴草烧了木城，夜里，几百名骑兵打算突围，都被迎头射死。
刚开始，郅支单于听说汉朝军队到了，想逃走，但怀疑康居国的人怨恨自己，会作为汉军的内应，又听说乌孙各国都派了军队，自以为没有地方可去了。于是郅支单于出来后又重新回去，说：“还不如坚守城池，汉军远道而来，不能进攻得很久。”郅支单于就披上镗甲站在楼上，各位阏氏夫人有几十人都用弓箭射杀城外的人。城外的汉军射中了单于的鼻子，几十个夫人也多被射死。郅支单于下楼骑上马，转战到王宫的内室。夜晚过了一半，外面的木城被汉军攻破，里面士兵退入土城，和城内的一万多骑兵汇合，想要反攻汉军，利用夜色几次奔袭汉军营地，都没有成功，又不得不退回去城内。
等到天亮，汉军在城四面放起了火，大声呼喊追逐敌人，鸣釭敲鼓震动大地，康居兵被吓得不战而逃，汉军就从四面推着大的盾牌，一同进入土城中。城内的单于和妻儿男女一百多人都躲在他的内室，汉兵就放火进攻，单于等人全部受伤而死。军候假丞杜勋砍下了单于的头，得到了汉朝使者的两个符节以及谷吉等所带的帛书。此次战斗一共斩杀郅支单于、太子、名王及以下一千五百一十八人，俘虏了一百四十五人，收降了一千多人，收缴的财宝更不计其数。
