到了贞观八年（634年），由于袁天罡的名气太大了，就连李世民都听说了，李世民征召他到九成宫，成为他出谋划策的人。后来，李世民总是询问袁天罡，与国家利益相关的事情。袁天罡总是回答的，模模糊糊。
袁天罡知道伴君如伴虎，即便是自己能回答上来，也要考虑李世民的感受，有些话能说，有些话不能说。袁天罡就想脱离李世民，自己当个小小的县令，安分守己的过日子。袁天罡多次想辞职归里，李世民最终同意了。
就在袁天罡就要走的时候，李世民便询问袁天罡：你本人还能活多长时间，然而袁天罡想都没想的答复，四个月,李世民也十分惊讶。
李世民就把袁天罡放回老家了，根据《旧唐书》的记载：“果至是月而卒”，意思是到了四月袁天罡就去世了，可见袁天罡的相术多么的准确。
