米芾知无为军期间，书房因藏有晋人墨宝而取名“宝晋斋”。斋前有“墨池”，旁有石丈。后人在此基础上修建米公祠。原祠藏品多毁失，民国年间在旧址上建县图书馆。又建立文物管理所，内藏历代名家碑刻百余方，有宋徽宗楷书《题唐十八大学士》，米芾篆书《御制文宣王赞》等。