两年后,张賽又劝武帝联合乌孙(今伊犁河流域),武帝命张赛为中郎将,率300人,另带600匹马,牛羊金帛数万,浩浩荡荡,第二次出使西域。此时匈奴势力已被逐出河西走廊,道路畅通。他到达乌孙后,请乌孙东返故地。乌孙王年老,不能做主,大臣都惧怕匈奴,又认为汉朝太远,不想移徙。张赛派遣副使分别赴大宛、康居、大月氏、安息、身毒、于阗、弥(今新疆于田克里雅河东)等国展开外交活动,足迹遍及中亚、西南亚各地,最远的使者到达地中海沿岸的罗马帝国和北非。
元鼎二年(前115),乌孙王配备了翻译和向导,护送张赛回国。同行的还有数十名乌孙使者,这是西域人第一次到中原。乌孙王送给汉武帝数十匹好马,深得武帝欢心。武帝任命张赛为大行,负责接待各国使者和宾客。第二年,张赛去世。他所派遣的使者以后也陆续带了各国使者来到长安,汉和西域诸国建立了友好关系。相传葡萄,首宿、石榴、胡桃、胡麻等物种都是张骞从西域传人中原,张骞对开辟丝绸之路卓有贡献,至今为人称道。