传说在大禹治水时，在工程方面发生许多困难，结果在黄河上游河中出来一匹龙马，龙马背上背了一个图案，这些图案有许多圈圈点点，这些图案就名叫《河图》。因为这些图案，产生了数学的方法和观念。神话中大禹得了《河图》，就能驱使鬼神，把水患治平了。
稍后在河水里出来一只乌龟，龟背上也出现了另一个圈圈点点的图案，这些图案就叫《洛书》。
河图、洛书是以黑点或白点为基本要素，以一定方式构成若干不同组合，并整体上排列成矩阵的两幅图式。《易传·系辞》中有“河出图，洛出书，圣人则之”这句话，并据此认为八卦就是根据这二幅图推演而来的。
我们观看《河图》，发现河图共有10个数，1，2，3，4，5，6，7，8，9，10。其中1，3，5，7，9，为白点，为阳；2、4、6、8、10，为黑点，为阴。阳数相加为25，阴数相加得30，阴阳相加共为55数。所以古人说：'天地之数五十有五'，即天地之数为55，'以成变化而行鬼神也'。即万物之数皆由天地之数化生而已。
按古人坐北朝南的方位，则河图的位置如下：
北方：一个白点在内，六个黑点在外，表示玄武星象，五行为水。
东方：三个白点在内，八个黑点在外，表示青龙星象，五行为木。
南方：二个黑点在内，七个白点在外，表示朱雀星象，五行为火。
西方：四个黑点在内，九个白点在外，表示白虎星象，五行为金。
中央：五个白点在内，十个黑点在外，表示时空奇点，五行为土。
“天一生水，地六成之；地二生火，天七成之；天三生木，地八成之；地四生金，天九成之；天五生土，地十成之。”所以一为水之生数，二为火之生数，三为木之生数，四为金之生数，五为土之生数。六为水之成数，七为火之成数，八为木之成数，九为金之成数，十为土之成数。万物有生数，当生之时方能生；万物有成数，能成之时方能成。所以，万物生存皆有其数也。
我们再看《洛书》，《洛书》实际是九宫，由1—9的自然数排列而成，横，竖，斜三个数相加和都是15。
古代有一首歌谣叙述它说：“戴九履一，左三右七，二四为肩，六八为足”。
再把《洛书》数字的图案，套在文王后天八卦的图案上，于是我们就会发现“一数坎兮二数坤，三震四巽数中分，五寄中宫六乾是，七兑八艮九离门”的道理。
一般认为河图为体，洛书为用；河图主常，洛书主变；河图重合，洛书重分；方圆相藏，阴阳相抱，相互为用，不可分割。
