秦国的名将白起，领兵前去攻打魏国，有个名叫苏厉的谋士获悉后，赶紧去见周朝的国君，提醒他说：“如果魏国被秦军占领，您的处境就危险了。”原来，这时周朝的国君名义上是天子，实际上对各诸侯国已没有管辖权。魏国如被秦国攻灭，秦国的势力将更强大，对周天子的威胁也更大。于是周天子便派苏厉去游说白起不好攻打魏国。苏厉设法拜见白起，向他讲了这样一个故事。
楚国有个著名的射箭手，名叫养由基。此人年轻时就勇力过人，练成了一手好箭法。当时还有一个名叫潘虎的勇士，也擅长射箭。一天，两人在场地上比试射箭，许多人都围着观看。靶子设在五十步外，那里撑起一块板，板上有一个红心。潘虎拉开强弓，一连三箭都正中红心，博得围观的人一片喝采声。潘虎也洋洋得意地向养由基拱拱手，表示请他指教。养由基环视一下四周，说：“射五十步外的红心，目标大近、太大了，还是射百步外的柳叶吧!”说罢，他指着百步外的一棵杨柳树，叫人在树上选一片叶子，涂上红色作为靶子。
之后，他拉开弓，“唆”的一声射去，结果箭链正好贯穿在这片杨柳叶的中心。在场的人都惊呆了，潘虎自知没有这样高明的本领，但又不坚信养由基箭箭都能射穿柳，便走到那棵杨柳树下;选取了三片杨柳 叶，在上方用颜色编上号，请养由基按编号次序再射。养由基走前几步，看清了编号，然后退到百步之外，拉开弓，“嗖”、“嗖”、“嗖”三箭，分别射中三片编上号的杨柳叶。这一来，喝采声雷动，潘虎也口服心服。
就在一片喝采声中，有个人在养由基身旁冷冷他说：“喂，有了百步穿扬的本领，才能够教他射箭了!”养由基听此人口气这么大，不禁生气地转过身去问道：“你准备怎样教我射箭?”那人平静他说：“我并不是来教你怎样弯弓射箭，而是来提醒你该怎样持续射箭名声的。你是否想过，一旦你力气用尽，只要一箭不中，你那百发百中的名声就会受到影响。一个真正善于射箭的人，应当注意持续名声!”养由基听了这番话，觉得很有道理，再三向他道谢。
周天子派去的人，就按照苏厉说的向白起讲了这个故事。白起听后，想到要持续自己百战百胜的名气，不能轻易出战，便借口有病，停止了向魏国的进攻。
百步穿杨的故事还引申出了另一条成语“百发百中”。两者意义相似。
