占卜术士学习占候之术以为战乱中避难计。衡于占者之家见《尚书疑义》（疑即孔颖达正义）抄录而归从此着意研习儒家经典。
金开兴元年（1232）蒙古军略取河南诸州县衡被掳役属于某万夫长。万夫长南征（攻宋应在1235年）始得脱隐居徂徕山（今山东泰安东南）得王弼《周易注》昼诵夜思身体力行学识增进。后迁居泰安东馆镇再迁大名皆以教学为生。1238年蒙古太宗下令考试诸路儒士衡应试合格得入儒籍渐有声名。时窦默亦居大名以精针术闻名并通儒学衡与之交往共同研习经传、释老以及医、卜、诸子百家之说。1242年姚枢弃官隐居辉州（今河南辉县）之苏门衡闻枢得南宋儒士赵复传授的伊洛之学乃往求之因得读程颐《伊川易传》、朱熹《论孟集注》、《中庸·大学章句》、《或问》及《小学》等书深为信服抄录而还朝夕精诵并付之实践。他对众学生说：“昔所授受殊孟浪也今始闻进学之基。若必欲相从当悉弃前日所学章句之习从事于小学洒扫应对以为进德之基。不然当求他师。”他让学生不论大小都从《小学》入门彻底以程朱理学作为自己进修和教导学生的课程。从此许衡的学术思想和治学道路生了重大变化成为程朱理学在北方最专诚、最有力的拥护者和推行者。著《读易私言》成末署“戊申（1248）八月庚辰识于家塾”1。其间曾一度回故乡河内又至洛阳寻弟。庚戌（125o）举家从大名迁回乡中途闻河内政治仍苛虐遂停留苏门与姚枢邻居共同切磋讲习。不久姚枢应忽必烈征召北上衡独居苏门。
1254年忽必烈于份地京兆立宣抚司劝农兴教遣使征衡为京兆教授。衡应聘赴职来学者甚多其所著《小学大义》即此时教授学徒的讲义。次年由宣抚使廉希宪保奏令旨命衡为京兆提学再三推辞不受获准返回家乡（据《考岁略》）。
上《时务五事》疏中统元年（126o）忽必烈即位衡应召至开平朝见遂留居燕京。二年奉召再至开平。时忽必烈方倚重平章政事王文统秉政窦默上书言不可重用功利小人又面斥文统学术不正必将误国不宜久居相位2；忽必烈问谁可1《鲁斋遗书》卷六。《考岁略》谓“己酉先生年四十一是岁有《读易私言》”。又云“先生著述曰《读易私言》是先生五十后所作”。皆与此不合。
2据欧阳玄撰《许衡神道碑》（《斋圭集》卷九）窦默之言实出于许衡。为相默荐许衡忽必烈不悦而罢。文统疑许衡唱和窦默之说乃奏授默为太子太傅姚枢为太子太师衡为太子太保意在将他们搁置于虚位使其不能在皇帝左右参议中枢政务。衡以此事不仅不合义理（时太子尚未立）且在当时朝廷也不可能实行太子尊师的古制说服窦默相与力辞不受于是改授默为翰林侍讲学士枢为大司农衡为国子祭酒。当时尚未置国子学祭酒也是虚职衡受命后不久即称病辞去遂改命为怀孟路教官许还乡执教。
三年九月奉召至燕京寓居道观。时王文统已败姚枢、窦默均已起用独衡未有新任命。他不登权贵之门仅与姚、窦交往。至元元年（1264）初复还怀州。二年十月再召至燕（时已改中都）命入中书省议事但未授官职衡称病推辞。丞相安童素闻其名访之于寓所甚加敬重。三年二月忽必烈召见面谕他入省议事辅导安童若有所建言可先告安童转奏其“名分”（官职）俟朝廷斟酌授予。四月又召至上都询问政事衡遂奏上《时务五事》疏一曰“立国规模”论当行汉法方能长久统治；二曰“中书大要”论用人、立法之方；三曰“为君难”分别陈述了“践言”、“防欺”、“任贤”、“去邪”、“得民心”、“顺天道”六事；四曰“农桑学校”论须优抚农民劝课农桑自京师至州县皆立学校使仓廪充实人民皆知君臣父子之伦；五曰“慎微”论使臣下各安本分崇尚退让在上者则要慎喜怒守信用1。这篇奏疏引古证今指摘时弊提出对策论析比较透彻是许衡最重要的一篇政论。他的许多奏稿都自己毁弃独保存此篇。但面见后忽必烈仍未授以具体职务不久他就因病不再赴省获准回乡养病。
四年九月复授衡为国子祭酒；十一月征至中都备顾问。六年奉旨与刘秉忠、张文谦、王恂等同议朝仪官制取古今制度加以损益奏上。七年正月擢为中书左丞。他提出三条理由表示不敢承受一是非勋旧不足以服众；二是无德才不能当此重任；三是“臣之所学迂远于陛下圣谟神算未尽吻合陛下知臣未尽信臣未至直以虚名误蒙采擢。臣若不自度冒当圣眷其旋至悔咎必矣”。前二条都是虚文只有第三条说出了他的真实思想。当时忽必烈急于增加财政收入讲求功利对许衡大讲义理王道谓当期事功于三十年之后的议论不感兴趣以致在听取他的长篇奏疏时流露出倦意；而且至元三年置制国用使司七年初改立尚书省委任阿合马总掌财政、民政中书省权力已大为削弱。这都使许衡感到难以实行其政见。但他的辞职未获准许。五月他弹劾阿合马专权、害民数事；又言阿合马所委尚书六部官多用人不当。阿合马欲以己子掌兵政衡又言父子不宜兼掌兵、民、财三权为此在忽必烈面前与阿合马激烈辩论。在当时诸相臣中许衡确是尤为“切直敢言不以荣贵为心者”然而他的建议却都未被采纳施行由是忧惶日深病亦增剧遂力辞左丞职1。
掌教国子学至元八年三月改授为集贤大学士兼国子祭酒。在此之前忽必烈已选蒙1《时务五事》疏第五条后多删削《鲁斋遗书》所收者较《元文类》卷十三多出六则然文亦不全。1王恽：《论左丞许公退位事状》《秋涧集》卷八六。
古贵族子弟数人命衡教授衡荐召门生王梓等12人为伴读；至此正式设立了国子学（以南城旧枢密院为学址）增置司业、博士、助教各一员选随朝蒙、汉百官、近侍子弟充生徒。衡亲执教事以所召门生分任各斋斋长。开学以来他将家事尽付其子师可专意教学宾客来学中访问者一概谢绝。其所教授先以朱子《小学》一书讲书章数不务多而重在理解每每引证设譬浅显明了必使通晓而后已并问诸生“此章书义若推之自身、今日之事有可用否”欲其践行而不贵徒