和帝永元十二年（公元100年），张衡应南阳太守鲍德之请，成为他的主簿，掌管文书工作。八年之后，鲍德被安帝刘祜调任京师，张衡即辞官居家。在南阳期间他致力于探讨天文、阴阳、历算等学问，并反复研究西汉扬雄着的《太玄经》。一时间声名鹊起，逐渐引起了汉安帝的注意。永初五年（公元111年）张衡奉诏入京，官拜郎中。

这年，张衡三十二岁，第一次真正地踏上了仕途。

及至顺帝即位，张衡连续升迁，先后担任尚书郎、尚书令。古代士人皆崇尚“学而优则仕”，因此可以说，此时张衡终于实现了他的政治抱负。正应了“好事成双”这句成语，张衡在仕途上的顺利，也让他在科技上取得了突出成就，十四年的时间内，他完成了他一生大部分的科技成就。到了阳嘉二年（公元133年），顺帝见他不负众望，成绩斐然，便将其升为侍中。

眼见这样一个士人也受皇帝的恩宠日盛一日，宦官们斗不过梁商，却也不能让张衡骑到他们的头上。然而张衡一直以来，都以勤于政事、爱惜人民、忠于朝廷、达于科学而着称，要找到他的毛病，还真不容易。

然而，张衡在对待谶纬之风盛行的情况上，却表现得不明智了。两汉时期谶纬合流，到顺帝之时，天地时常发生灾祸，皇帝总是担心自己帝位不保，宦官们便招来一些儒生，让他们以自己所学，即以古代河图、洛书的神话，阴阳五行学说及西汉董仲舒的天人感应说为理论依据，为皇帝预测国运，看看谁人忠诚，谁人有反意。将自然界的偶然现象神秘化，并视为社会安定的决定因素。谶纬被称为内学，尊为秘经，实际上成了宦官诛除异己、陷害忠良和政敌的工具。

张衡眼见皇帝被蒙蔽，毅然向皇帝上书：“国谶虚妄，非圣人之法。”又说：“……此皆欺世罔俗……宜收藏国谶。一禁绝之。”此番言论，在当时看来，无异于九天之雷，轰动朝野。宦官见此有机可乘，忙向皇帝进谗言说：“张衡无知，诽谤天意，扰乱圣听，为正法纪，为肃礼仪，理应杀之。”

皇帝爱惜张衡的才华，但是如此做法，难免与朝廷大势不合，兼且自己的左膀右臂都弹劾于他，自己不对其稍作惩罚，实在难以服众。

永和元年（公元136年），张衡受宦官排挤中伤，被皇帝调离京师。担任河间王刘政的相。可是，张衡并没有就此沉寂平静，因为现实不让他从此沉寂。河间王刘政，在当时可谓是臭名昭着，最是不守法纪。骄横奢侈之风在其属地上巍然四起，当地豪强皆群集响应。张衡到任之后，对刘政晓之以理，动之以情，终于说服刘政改革。

在取得刘政支持之后，张衡严整法纪，打击豪强，使得上下肃然，百姓为其拍手称快。三年之后，河间王属地一片太平，张衡见自己已经老了，并且时常患病，便准备功成身退，向皇帝请求归隐田园。然而皇帝则认为，他实在是个可用之才，但是宫中尚有很多的人反对他，特别是那些宦官不容于他。便决意让张衡回京师做尚书（官职远低于侍中或相）。他正准备应诏，却忽然得病，不久便逝世。