史载汉武帝即位后，从匈奴人的口中得知西迁的大月氏有报匈奴世仇之意，但苦于无人相助，便决定沟通与西域的联系，欲联合大月氏，以夹击匈奴，“断匈奴右臂”。

      建元二年(公元前139年)，张骞率领100多名随行人员，匈奴人堂邑父(也称甘父)为向导从长安出发前往西域。西行进入河西走廊。这一地区自月氏人西迁后，已完全为匈奴人所控制。正当张骞一行匆匆穿过河西走廊时，不幸碰上了匈奴的骑兵队，他们全部被抓获。匈奴的右部诸将立即把张骞等人押送到匈奴王庭(今内蒙古呼和浩特附近)见当时的君臣单于(老上单于之子)。

      军臣单于得知张骞出使月氏后，对张骞说：“月氏在吾北，汉何以得往？使吾欲使越，汉肯听我呼？”意思是月氏在我们的北边，你们怎么能过去呢，假使我们若出使越国，汉朝肯让我们过去吗。张骞一行被扣留和软禁起来。

      匈奴单于为了拉拢张骞，打消其出使月氏的念头，进行了种种威逼利诱，张骞皆不为其所动，始终没有忘记汉武帝所交给自己的神圣使命，没有动摇为汉朝通使月氏的意志和决心，在匈奴一直居留了十年之久。

      元光元年(公元前129年)，匈奴监视渐有松弛，张骞趁匈奴人不备带领其随从，逃出了匈奴人的控制区。但在留居匈奴期间，西域的形式已发生了变化。月氏的敌国乌孙在匈奴支持和唆使下西攻月氏，月氏人被迫从伊犁河流域继续西迁，进入咸海附近的妫水地区，征服大夏，在新的土地上另建家园。张骞了解这一情况后，经车师后没有向西北伊犁河流域进发，而是折向西南，进入焉耆，在溯塔里木河西行，过库车、疏勒等地，翻越葱岭，直达大宛(今乌兹别克斯坦费尔干纳盆地)。这次出使。大隔壁滩上，飞沙走石，热浪滚滚；葱岭高耸入云，冰雪皑皑，寒风刺骨，沿途人烟稀少，水源奇缺。加之他们匆匆出逃，物质准备不足。张骞一行，风餐露宿，备尝艰辛。干粮吃尽了，就靠堂邑父射杀禽兽聊以充饥。不少随从或因饥渴倒闭途中，或葬身黄沙、冰窟，献出了生命。

      张骞到大宛后，向大宛国王说明了自己出使月氏的使命和沿途种种遭遇，希望大宛能派人相送，并表示今后如能返回汉朝，一定奏明汉皇，送他很多财物，重重酬谢。大宛王本来早就听说东方汉朝的富庶，很想与汉朝通使往来，但苦于匈奴的中梗阻碍，未能实现。汉使的意外到来，使他非常高兴。张骞的一席话，更使他心动。于是满口答应了张骞的要求，热情款待后，派了向导和译员，将张骞等人送到康居(今乌兹别克斯坦和塔吉克斯坦境内)，康居王又遣人将他们送到大月氏。

      不料，这时的大月氏人，由于新的国土十分肥沃，物产丰富，并且距匈奴和乌孙很远，外敌寇扰的危险已大大减少，改变了态度。当张骞向他们提出建议时，他们已无意向匈奴复仇了。再加上，他们深知汉朝离月氏太远，如果联合攻击匈奴，一旦遇到危险恐难以相助。张骞等人在月氏逗留了一年多，但终未能说服月氏人与汉朝联盟夹击匈奴。在此期间，张骞曾越过妫水南下，抵达大夏的蓝氏城(今阿富汗的汉瓦齐拉巴德。)元朔元年(公元前128年)动身返国。

      归途中，张骞为避开匈奴势力，改变了行走路线。计划走塔里木盆地南部，昆仑山北麓的“南道”，从莎车，经于阗(今和田)、鄯善(今若羌)，通过青海羌人地区后归汉。但出乎意料，羌人也已沦为匈奴的附庸，张骞等人再次被匈奴骑兵所俘，又扣留了一年多。

      元朔三年(公元前126年)初，匈奴为争夺王位发生内乱，张骞趁机和堂邑父逃回长安。从汉武帝建元二年(公元前139年)出发，至元朔三年(公元前126年)归汉，共历十三年。出发时是一百多人，回来时仅剩下张骞和堂邑父二人。张骞第一次出使西域，使中国的影响直达葱岭以西。自此，不仅西域同内地的联系日益加强，而且中国同中亚、西亚，以至南欧的直接交往也建立和密切起来，此诚之谓“凿空”。这次出使，不仅是一次极为艰险的外交行为，同时也是一次卓有成效的科学考察。张骞对广阔的西域进行了实地的调查研究工作，不仅亲自访问了西域各国和中亚大宛、康居、大月氏和大夏诸国，而且从这些地方又初步了解到乌孙(巴尔喀代湖以南和伊黎河流域)、奄蔡(里海、咸海以北)、安息(即波斯，今伊朗)、条支(又称大食，今伊拉克一带)、身毒(又名天竺，即印度)等国的许多情况。回到长安后，张骞将其见闻，向汉武帝做了详细报告，对葱岭东西、东亚、西亚，以至安息、印度诸国的位置、特产、人口、城市、兵力等，都作了说明。汉武帝对张骞这次出使西域的成果，非常满意，特封张骞为太中大夫，授堂邑父为“奉使君”，以表彰他们的功绩。