阳明书院遗址位于今常德市城区朗州路友阿商业广场南侧。《嘉庆常德府志》卷十五《学校考二》记载：“阳明书院，在府北关外。明正德间，兵部员外郎王守仁以言事忤旨，谪戍龙场驿。道经武陵，与蒋信、冀元亨讲学于此。因构棹楔一座，大门三间，大堂三间，川堂一间，左右厢房共六间，后堂三间。亭榭具备。额曰‘阳明书院’。今址存院废。”清同治元年《武陵县志》卷之二十二《学校志·书院》亦载：“阳明书院，在县北城外。明王守仁谪戍龙场，道经武陵，与蒋信、冀元亨讲学于此。因构棹楔舍宇，额曰‘阳明书院’。今废。”

据笔者考证，上述两部方志所说的“府北关外”“县北城外”就是指当时的城北“拱辰门”外广济桥（旧名土桥）附近，也就是今天友阿商业广场南。明清时常德城有四个主城门，另有两个辅城门。城东称“永安门”，城南称“临沅门”，城西称“清平门”，城北称“拱辰门”。“拱辰门”在今常德市一中以北不远处，20世纪50至60年代，市一中校园后面的城堤上还保存了很长一段城墙，就是“拱辰门”的城垣，城垣与广济桥毗连，广济桥两边就是护城河。古代常德的护城河直通沅江与内河（渐水），水上交通很方便。上述方志都说阳明书院“因构棹楔”一座，“棹楔”就是“船埠头”，即船码头。可见阳明书院是建在广济桥附近的护城河边，便于远方学子乘船就读。

明正德三年（1508），王阳明途经常德时，寓居城西潮音阁。当时，历任“刑、礼、兵、吏四科都给事中”的武陵人杨褫，“以（因）忤刘瑾，致仕归，构闻山精舍，偕蒋信、冀元亨诸人讲学”。杨褫在京师任职时就与王阳明相好，听说他来到常德以后，立即带领蒋信、冀元亨等人到潮音阁拜访他。王阳明第一次在常德讲学之后，蒋信与冀元亨又跟着他去龙场驿继续求学。正德五年（1510），王阳明升任庐陵知县，再次路过常德，蒋信与冀元亨等人又邀请他第二次讲学。这两次讲学，对开启武陵民智、传播阳明心学产生了极其深远的影响。此后不久，武陵儒绅自发捐资，在其讲学之处——广济桥（土桥）附近兴建了阳明书院，并在离书院不远的“启贤门”一侧，修建了“阳明祠”，供人们祭祀，《嘉庆常德府志》卷十二《秩祀考·庙坛》、清同治元年《武陵县志》卷之十二《祠庙》均有记载。

阳明书院既为纪念王阳明而建，又秉承他的学术思想，在武陵学界开一代新风。其亲炙弟子冀元亨在阳明书院讲学时，主张“为学务探本源，不为口耳之习”。明正德十一年（1516）他参加湖广乡试，主考官以“格物致知”发策，他不以朱熹的《四书集注》等儒家传统之说作答，而根据王阳明的最新观点加以阐发。主考官认为他独辟蹊径，颇有见地，破例录取他为举人。后来，他又跟随王阳明去江西研习阳明心学，学业精进。回到阳明书院讲学时鼓励生徒独立思考，不人云亦云，诸生深受教益。