光绪六年十月初十（1880年11月12日），陈垣出生在广东省广州府新会县石头乡富冈里一个药商家庭 。少年时，他受“学而优则仕”的儒家思想影响。陈垣自幼嗜好读书，《书目问答》《四库全书总书目》两部目录学著作引领他走上学问之路。陈垣17岁时曾赴京参加科举考试却落选，21岁时获新会县试第一。 后以经世致用为宗旨治学。
光绪三十一年（1905年），在孙中山领导的民主革命影响下，陈垣和几位青年志士在广州创办了《时事画报》，宣传反帝爱国思想。
光绪三十二年（1906年），陈垣因进行反清斗争，被清政府抓捕，为躲避追捕，陈垣回到新会老家担任篁村小学教师。他到职后，承包了学校大部分课程，他不仅教学生国文、算学等基础课程，而且还教学生体操和唱歌。
光绪三十三年（1907年），陈垣先后在振德中学和义育学堂教国文和历史课程。
宣统三年（1911年）辛亥革命爆发，陈垣和康仲荦创办《震旦日报》及其副刊《鸡鸣录》，以迎接革命，在办报和学习医学过程中，陈垣以笔作枪，写了大量时文。
民国元年（1912年），陈垣被选为中华民国众议院议员。由于议员是专职性质，他来到北京定居。到北京后，陈垣突然发现了太多有利的读书条件，不少年轻时根本不敢想象的书籍能随时看到，让他一下眼界大开，特别是民国四年（1915年）接触到从承德入京收藏的文津阁《四库全书》后。作为年轻的参议员，陈垣精明能干、文才极好，得到了当时交通系首领梁士诒的赏识，先后在梁士诒主持的税务处、内国公债局、毛革改良会等机构任职。 因政局混乱，潜心于治学和任教。他曾在一段时期内信仰宗教，故从民国六年（1917年）开始，陈垣发奋著述中国基督教史，于是有《元也里可温考》之作。陈垣认为，中国基督教初为唐代的景教，以次为元代的也里可温教、明代的天主教、清以后的耶稣教。所谓“也里可温”，是元代基督教的总称。元亡，也里可温就绝迹于中国。但作为宗教史来说，它又是世界宗教史的一个组成部分。陈垣这一著作不但引起中国文学界的注意，也受到国际学者和宗教史研究专家的重视。
从民国六年（1917年）到民国三十四年（1945年）的近三十年，陈垣在宗教史、元史以及历史年代学、避讳学、校勘学等领域，作了许多开创性的或总结性的工作。这些与故宫博物院丰富的档案文献收藏息息相关，其中对《四库全书》、明清档案的利用，构成了他这一时期著作的特色之一。
民国十二年（1923年）起，陈垣开始在燕京大学任教，初为讲师。
民国十三年（1924年），冯玉祥驱逐溥仪出宫。11月20日，清室善后委员会成立，李煜瀛为委员长，在李煜瀛的推荐下，陈垣任常务委员，主持常务工作。
民国十四年（1925年）10月10日，故宫博物院成立，陈垣任理事会理事兼图书馆馆长，图书馆分图书、文献两部，沈兼士、袁同礼副之，正式履行新式博物馆所赋予的典藏、保管、陈列、研究和出版等职责。
民国十五年（1926年）3月至民国十七年（1928年）6月期间，故宫博物院在北洋军阀皖、直、奉等支持的临时执政府肘腋下，先后历经四次改组，包括维持员、保管委员会、维持会及管理委员会等四个时期，陈垣在这一过程中勉力维持，发挥了极其重要的作用。 9月，陈垣受聘为公教大学副校长；之后，陈垣一直在北京辅仁大学教授学生国文、历史等课程，既使在担任北京辅仁大学校长之后。
民国二十六年（1937年），卢沟桥事变爆发后，北平被日军侵占。陈垣身处危境，坚决与敌斗争。
民国二十七年（1938年）5月，日本侵略军攻占华北重镇徐州之后，日伪政府强迫北平全市悬挂日伪国旗，并强令群众上街游行，以示庆祝。辅仁大学及其附属中学坚决拒绝执行挂旗、游行等无理要求。结果日伪震怒，强令辅仁大学及附属中学停课3天