纵观横县的文化史，“书院林立，除了远近闻名的淮海书院，还有紫澜书院、悟斋书院、秀林书院等。其中悟斋书院对横县的影响仅次于淮海书院，这两个书院的历史和背景，有着惊人的相似，历史仿佛不断地在重演。
悟斋书院建于明朝嘉靖年间，位于学宫西北乌石岭，因此又名乌石书院，是我国明朝时期的军事家、文学家，改革家吴时来因为弹劾奸臣严嵩而遭谪横州时，为当地人讲学所建。
吴时来在淞江为官期间，体恤民苦，一直被当地人称颂，期间他抗倭建功，助大明军队打了一场嘉靖年间难得的胜仗。吴时来的能力和人品得到了朝廷的肯定，不久被提拔为刑科给事中。
当时无恶不作的奸臣严嵩手握大权，结党营私，造成全军上下，层层克扣军饷，并且贿官成风，严重削弱了军队的战斗力。面对邪恶势力，吴时来敢于挺身而出，这让严嵩耿耿于怀，视他为眼中钉，欲除之而后快。1558年3月，严嵩故意推荐吴时来出使琉球未遂，然而此时引起了吴时来的警觉，认为严嵩之党祸国殃民必须铲除，于是就冒着生命危险，将奏本呈上，奏本中详细揭发了严嵩等人“上欺仁主，下坏边防、引用匪人、祸国害民”的罪行，结果反遭严嵩诽谤。吴时来被打入大狱，遭到严刑拷打，受尽折磨，几次昏迷。世宗在举笔批示第二天再继续用刑的时候发生了地震，笔坠落于地上，于是迷信的世宗将吴时来贬谪广西横州。
吴时来初到横州，生活非常艰苦，在这样的环境中，他除了书写诗歌和散文，还处处不忘百姓，创建了悟斋书院，即乌石书院，他朝夕讲学，一教就是6年。6年的时间，使横州当地的民风吏治焕然一新，为横州培养了许多人才，随着当地文化不断的发展，横州人的素质也逐渐地在提高。
1567年，严嵩大败，吴时来被招回京。他的学生日夜思念恩师，在书院内立了吴时来的石像，并建了吴公祠以祀，只是，书院在战乱时期废弃。时至今日，依然有吴时来学生的后人，念念不忘先人的恩师，将吴时来当年教授的礼仪知识一代代传承下来。
北宋有大词人秦观成就淮海书院，明嘉靖有文学家吴时来建造悟斋书院。这百年书香浸染的横州，百姓崇文尚德，人心向善。没有更香的花朵比这从远古飘出来的书香更沁人心脾，没有更深沉的历史号角可以在这里如此嘹亮吹起。
尽管悟斋书院已经废弃，然而，书声已远书香在，吴时来留下的精神之花永绽不败。他留下一把开启蒙昧的钥匙，在他月迷津渡之后，横州人开启了他诗词中的小屋，尽管流离散落，但有一轮守护横州历史的朝阳，天天等候于深夜的山头。
