涵芬楼本是商务印书馆（当时在上海，而不是北京）为便于编辑，设以收藏善本用的藏本楼，当时主持编务的张元济在1904年设立藏书室，后因善本增多，需要管理，遂于1909年“设图书馆，名为‘涵芬楼’”（《商务印书馆百年大事记》）。 1924年另筑高达五层的“东方图书馆”，以存放越来越多书籍。而“宋元明旧刊和钞校本，名人手稿及其未刊者为善本”，则“另辟专室珍藏，颜曰‘涵芬楼’” 至此，“涵芬楼”便由图书馆转成东方图书馆的善本室。 此图书馆书籍之多曾一度超过北平图书馆，达到51万册而成为中国最大图书馆，无奈1932年连同印刷厂、编译所、尚志小学，统统毁于日军炮火之下。