中国古代文人士大夫之所以兴起爱石、玩石之风，是与当时人们深受儒、释、道思想影响密不可分的。
儒家与赏石
儒家学说在艺术审美上十分关注人与自然的互动关系，提出了“天人合一”的思想，即主张自然的人化和人化的自然，把自然中的水光山色和人的情感性格交融于一体，如孔子云：智者乐水，仁者乐山；君子比德于玉。特别是这种对自然界景物的“比德”之说，赋予顽石以灵性，使之成为坚贞不移、长寿永久的象征，成为一种审美对象。
自然景物因人的情感投入渗透而被激活，人的情感也因为自然景物潜伏的生命活力而变得细腻、丰富、深邃乃至崇高起来。这也正是赏石的一种境界。
特别是儒家学说重“礼”，其中的一个内在精神便是“敬”，即对待任何事物都要随时保持一种严肃认真的态度，这也是涵养和成就“君子”人格的重要途径，这些都应是赏石者应该具备的素养。
儒家学说发展到了宋代，产生了理学，宋代理学在讲“敬”的同时，还讲“致知”，认为万事万物在本质上与人体构造并无太大差别，把“天人合一”表述为“天人一理”，提出“以物观物”、“格物致知”。即培养道德理性的自我知觉，自我意识。
宋代理学的代表人之一程颢在《秋日偶成》一诗中有这样的锦句：“万物静观皆自得，四时佳兴与人同。道通天地有形外，思入云烟变态中。”所谓的静和敬是一脉相通的，就是生活中始终要保持一种严肃认真的态度。赏石活动因此由感性的玩物变成为理性的品藏，更多地带有了哲理的意味。这也是赏石活动在宋代特别发达的原因。宋代理学理念中的赏石，不仅仅着眼于石头的奇特外表，而是看重是否能从中悟道启灵。
道家与赏石
道家学说是对人为的否定和对自然的则归，在美学思想上崇尚和谐、宁静、自然的天籁之美，而不欣赏雕琢藻绘之工巧。即使是写诗作文，也强调“文章本天成，妙手偶得之”。它的最高美学境界就是“大美”，大是指无穷、无限、无形、无声、无言等，这是人工所永远无法达到的境界。如大象无形、大音希声、大成若缺、大器晚成、天地有大美而不言，等等。
在道家审美观的影响下，中国传统的审美对象主要是针对自然景物而展开的，是对自然景物（如山川花鸟）的观照，传统绘画的主要题材也是以山水、花鸟为主体。而观赏石似乎是道家美学思想的生动体现。
观赏石的天然造型呈象就是那种天籁之美，老子所提到的许多论点也多能在观赏石上找到最好的注脚，如“大象无形”与观赏石变幻莫测的形态，“大成若缺”与观赏石的不成材用，“圣人披褐而怀玉”与观赏石的外朴内美等等，都适成映照。所以，虽然许多观赏石有悖于形式美，但却符合道家的审美观。在陶渊明、白居易、苏东坡等爱石成癖者身上，都带有很深的道家思想烙印，这也从一个侧面印证了道家思想也是奇石赏玩之风兴起和不衰的思想根源。
就以传统赏石推崇的透、漏之美来看，这与道家思想所主张的“唯道集虚”似乎有着一脉相承的联系。如老子就有“有无相生”、“大象无形”的观点。后来发展为“有生于无，实出于虚”（《淮南子》）和“贵无”、“尚虚”论，这也是古代建筑空间美学和绘画美学的一个重要命题。
前者表现为透风漏月，后者表现为计白当黑。由此来审视奇石的洞穴，这与老庄哲学所倡导的“无”与“空”恰成契合，有了洞便有了空气的流通，便有了呼吸的通道乃至生命之源。正如人体没有七窍就失去存在的意义一样。没有这种空间的存在，石头的实体也就失去了无限的空间表现力，失去了可供观赏的深度和广度。
佛家与赏石
禅学是道家化的佛学，是道家思想的全面延伸。如果说道家思想的特征是遁世，那么禅学进而主张出世。道家的美学精神境界特征是忘我忘物，物我同一，以自然为美；禅学进而要求斩断尘缘，出世拔俗，以空为美。
禅学的本质是空，是以心传心，只可意会不可言传，这与观赏石的本质是相通的，在表现形式上也是相似的。南宋诗人陆游就有“花如解笑还多事，石不能言最可人”的名句。人们在欣赏观赏石时，往往也会产生一种“此中有真意，欲辨已忘言”的无言境界。
观赏石的美往往需要心悟灵通，许多观赏石之美是无可转语，无可移译的，话一出口便会觉得一切语言文字都是那么苍白无力，辞不达意。黄山风景绝佳处始信峰的峭壁上，刻有明代文人的“岂有此理”题铭，这大概就是对于奇美事物的最简捷明了的表白了。
在悟禅的人看来，石头也通灵性。所谓“片石孤峰窥色相，清池皓月照禅心”。日本永平寺的禅师熊泽，曾经总结出“石德五训”，赠给向他问禅求道的人；奇形怪状，无言而能言，石也；沉着而有灵气，永埋土中而成大地之骨干，石也；雨打风吹耐寒，坚固不移者，石也；质坚而能完成大厦高楼之基础者，石也；默默伫立山中、庭园，增加生活趣味，并能抚慰人心者，石也。赏石与坐禅虽然性质迥异，但也有相通之处。
赏石需要敛心凝神，贯注一境，坐禅同样需要端坐静虑，摒弃杂念，所以古人有“石尤近于禅”之说。宋代文豪苏东坡曾以五彩斑斓的黄州石赠给好友高僧佛印和参寥子，作为体禅悟道的启灵，这大概是最早将赏石与参禅联系起来的一则佳话了。
