据《新唐书·宰相世系表》知其父官职卑微，仅为洪洞县丞。张说为文运思精密，年轻时很有造诣。垂拱四年（688年），武则天策试贤良方正，亲临洛阳城南门主考，张说应诏对策为天下第一。武则天以为近古以来没有甲科，张说遂屈居为乙等，授任太子校书，迁左补阙。
长安初年（701年），诏令张说与徐坚等人撰修《三教珠英》，由麟台监张昌宗及成均祭酒李峤总领此事。昌宗不学无术，只是广引文词之士，高谈阔论，“历年未能下笔”。唯张说与徐坚“构意撰录，以《文思博要》为本，更加《姓氏》、《亲族》二部，渐有条流”。书修成后，迁右史、内供奉，兼知考功贡举事，后又擢任凤阁舍人。
长安三年（703年），女皇男宠张昌宗诬陷御史大夫魏元忠与人私议“太后老矣，不若挟太子为久长”，称此是谋反，并胁迫张说作证，张说应允了。当上廷作证时，再次威胁他，张说却慷慨陈词，对女皇说：“陛下视之，在陛下前，犹逼臣如是，况在外乎！臣今对广朝，不敢不以实对。臣实不闻元忠有是言，但昌宗逼臣诬证之耳！”张昌宗阴谋败露后，又气急败坏地反诬称张说与魏元忠同谋反。张说又据理反驳，最后并说：“且臣岂不知今日附昌宗立取台衡，附元忠立致族灭！但臣畏元忠冤魂，不敢诬之耳。”张说理正词严，揭露了张昌宗的非法行为，保护了耿直大臣魏元忠，但武则天却不分是非曲直，反认为张说是“反复小人”，再次鞫审，最后竟被无辜流放于岭外。
唐中宗复位后，张说入为兵部员外郎，后转工部侍郎。景龙年间（707年—709年），遇母丧离职，服丧未满，中宗欲起复授黄门侍郎，当时“风教颓紊，多以起复为荣”，张说却推辞不受，颇受有识之士的称赞。服丧期满，复授工部侍郎，不久改为兵部侍郎，加弘文馆学士。
景云元年（710年），唐睿宗即位，张说迁任中书侍郎，兼雍州长史。这年秋天，谯王李重福潜入东都，欲谋夺皇位。兵败后，东都留守捕获了其党羽数百人，审讯多月，迟迟不能定案，睿宗即命张说前去审理。张说很快查清了此案，一宿即捕获了谯王的主谋张灵均、郑愔等，弄清了其全部罪状，其余误捕下狱的一律宣布无罪释放。张说办事干练，深受睿宗的嘉奖，称赞他说：“知卿按此狱，不枉良善，又不漏罪人。非卿忠正，岂能如此？”翌年，进同中书门下平章事，监修国史。
这时，李隆基尚居东宫为太子，张说为侍读，备受亲近礼敬。太子姑母太平公主交结朝臣，朋比为奸，干预朝政，图谋废掉太子。这年二月，唐睿宗曾对待臣说：“有术者上言，五日内有急兵入宫，卿等为朕备之。”侍臣们明白，此事显然是旨在离间挑拨父子关系，以动摇太子地位，都面面相觑，不知说什么好。张说则直言不讳地说：“此是谗人设计，拟摇动东宫耳。陛下若使太子监国，则君臣分定，自然窥觎路绝，灾难不生。”睿宗听后十分高兴，即日下制止皇太子监国。第二年，又下制皇太子即位。
睿宗虽然退居为太上皇，但仍控制着朝政大权。太平公主仍依恃皇兄权势继续干预政事，变本加厉地谋害玄宗。她恨张说不趋附自己，便奏请睿宗，将他贬为尚书左丞，并出为东都留守。张说洞知太平公主之党暗中怀有异谋，遂遣使者献给玄宗一把佩刀，暗示他要果断行事，以铲除太平公主之党。故史称“张说独排太平之党，请太子监国，平定祸乱，迄为宗臣。”在平定了太平公主的谋乱之后，玄宗即召张说拜中书令，封燕国公。
开元元年（713年）十月，玄宗欲召回同州刺史姚崇为相。张说因与姚崇不和，暗中指使御史大夫赵彦昭弹劾，玄宗不予理睬。接着，张说又使殿中监姜皎向玄宗建议，任命姚崇为河东总管，以阻止姚崇入相。玄宗知是张说的计谋，不顾一再阻挠，仍拜为兵部尚书、同中书门下平章事。姚崇任相后，张说就私自到岐王李范家申述诚意。姚崇告发此事，张说被贬为相州刺史，充河北道按察使。
张说被贬不久，又因他事牵连，再贬为岳州刺史。苏颋擢任宰相，张说与其父苏瑰为故交，撰《五君咏》献苏颋，其中一则是记苏瓖事。苏颋读后很感动，上奏称张说为“忠贞謇谔，尝勤劳王室，亦人望所属，不宜沦滞遐方”。开元六年（718年）二月，张说迁任荆州长史。不久又迁任右羽林将军，兼检校幽州都督。
开元十年（722年），诏命张说为朔方节度大使，并去朔方巡视边防，处置兵马。开元十一年（723年），张说进为中书令。开元十七年（729年），再拜张说为尚书右丞相，集贤院学士。开元十八年（730年），张说患病，玄宗每天都遣中使前去看望，并御笔写药方赐予他。由于医治无效，这年十二月病卒。时年六十四岁。赠太师，谥曰文贞，玄宗还亲自为张说撰神道碑文。
军事
张说被贬不久，又因他事牵连，再贬为岳州刺史。苏颋擢任宰相，张说以与其父苏瓖为故交，撰《五君咏》献苏颋，其中一则是记苏瓖事。苏颋读后很感动，上奏称张说为“忠贞謇谔，尝勤劳王室，亦人望所属，不宜沦滞于遐方”。开元六年（718年）二月，张说迁任荆州长史。不久又迁任右羽林将军，兼检校幽州都督。
幽州地与奚、契丹接壤，为北方重镇。这一年契丹首领李失活死，大臣可突于争权，发生了内乱。唐朝派兵镇压，结果失利。张说上表，陈述利害，说：“臣熟知幽州兵马寡弱，率欲排比，未可即用，城中仓粮全无贮积。”因此，他请求加强战备，以防止边患。
在此期间，张说考虑到“国储未赡，边军未息”，为了“静人业农”，他上表情求屯田：“臣闻求人安者莫过于足食，求国富者莫先于疾耕。臣再任河北，备知川泽。窃见漳水可以灌巨野，淇水可以灌汤阴，若开屯田，不减万顷，化萑苇为粳稻，变斥卤为膏腴，用力非多，为利甚博。”因此，他希望朝廷“不失天时，急趋地利，上可以丰国，下可以廪边，河漕通流，易于转运，此百代之利也”。屯田既可增加国库收入，减轻农民负担，又方便了水利交通，是一项很有益的措施。
开元七年（719年），张说检校并州大都督长史，兼天兵军大使，摄御史大夫，兼修国史。他再次上表论奏边事，主张对周边少数民族实行安抚和睦政策，用兵不过是迫不得已的。后可突于终于立李失活的族弟郁于为国主，并遣使请罪。玄宗即册立郁于，唐与契丹的纠纷终于圆满解决了。
开元八年（720年）秋，朔方大使王晙密奏原突厥降户勾引突厥，谋陷军城，因诛杀殆尽。此事引起了散居在大同、横野军附近的拔曳固、同罗诸部的恐惧不安。为了平息事端，张说只率二十从骑，持节去各部安抚，晚上还住在他们帐中。拔曳固、同罗诸部听到后深为感动，“由是遂安”。
开元九年（721年）四月，原突厥降将康待宾诱使诸降户反叛，一时攻陷了兰池六州。诏令王晙率兵讨伐，并令张说知经略。康待宾暗中与党项通谋，攻破了银城、连谷，还占据了粮仓。张说率马步兵一万人出合河关（今山西兴县）袭击，康待宾等大败而逃。张说率军乘胜追击，当追到骆驼堰时，党项部反戈。张说招抚党项流散人员，使各安其业。讨击大使阿史那献以为党项反复无常，请全部诛杀。张说制止了这一滥杀的做法，说：“王者之师，当讨叛柔服，岂可杀已降邪！”即奏请设置麟州，“以镇抚党项余众”。同年九月，召拜为兵部尚书、同中书门下平章事。
开元十年（722年），诏命张说为朔方节度大使，并去朔方巡视边防，处置兵马。这时，康待宾余党庆州方渠康愿子反叛，自立为可汗，劫掠牧马，西渡黄河出塞。张说率兵追讨，至木盘山擒获了康愿子，并俘虏三千人。为了防止这一带的突厥降户再次骚乱，于是议请将居住在河曲六州的降户五万余人强行迁往中原的许、汝、唐、邓、仙、豫等州。这样，朔方之地，空荡无人。张说因功赐实封二百户。
张说历经边镇数年，熟知边防事宜。当时沿边镇兵多达六十余万，他以时无强敌，奏请精减兵员，罢免二十余万。玄宗对裁减三分之一有些犹豫。张说解释说：“臣久在疆埸，具悉边事，军将但欲自卫及杂使营私。若御敌制胜，不在多拥闲冗，以妨农务。”
张说还着手对府兵进行了改造。当时诸卫府兵，成丁入伍，六十岁免役，其家又不蠲免杂徭，渐渐贫弱，大都逃亡。先天二年虽然有所改革，规定二十五岁入伍，五十岁放免，屡次征镇者，则十年免役。但实际上徒有此令，
并未能付诸实施。因此这时府兵之法日渐破坏，番役更替多不按时，卫士逃匿，宿卫之士无法得以保证。鉴于这种情况，张说建议，请召募壮士充宿卫，“不问色役，优为之制，逋逃者必争出应募。”玄宗同意募兵，不过十几天，即得到精兵十三万人，“分隶诸卫，更番上下。兵农之分，从此始矣”。
张说的精减边兵、改革府兵，有利于减轻人民的负担，也增强了军队的战斗力。王夫之评论说：“张说所奏罢之二十万人，无一人可供战守之用，徒苦此二十万之农民于奉拚除、执虎子、筑场，供负荷之下。故军一罢，而玄宗知其劳民而弱国也，而募兵分隶之议行，渐改为长从，渐改为彍骑。穷之必变，尚可须臾待哉？”
政治
开元十一年（723），张说进为中书令。在政治制度上所进行的重要改革是奏改政事堂为中书门下。政事堂在唐初设于门下省，为宰相议政之所。贞观之后，中书省权力渐重。武周时裴炎由侍中改任中书令，为便于政务推行，迁政事堂于中书省，但仍是宰相议政之所。张说任中书令后，将政事堂改为“中书门下”，并“列五房，一曰吏房，二曰枢机房，三曰兵房，四曰户房，五曰刑礼房，分曹以主众务焉”。同时，政事印为“中书门下之印”。这一改制，使政事堂有其所辖部门与属官，由宰相议政之所变为朝廷最高权力机构。
唐玄宗统治前期，经济繁荣，政治升平，进入盛世。好大喜功的玄宗粉饰文治，特置丽正书院，聚集文学之士，或修书，或侍讲，以张说为修书使总领其事。由于文学之士受到宠遇，对其供给也十分优厚。中书舍人陆坚以为他们“无益于国，徒为糜费”，欲上奏罢免学士。张说反驳其言，说：“自古帝王于国家无事之时，莫不崇宫室，广声色，今天子独延礼文儒，发挥典籍，所益者大，所损者微。陆子之言，何不达也！”玄宗听到后，“重说而薄坚”。
开元十三年（725），改丽正书院为集贤殿书院，定书院官五品以上为学士，六品以下为直学士，张说以宰相为学士知院事。他虽然地位显赫，却很谦逊。玄宗欲授任张说为大学士，他推辞说：“学士本无大称，中宗崇宠大臣，乃有之，臣不敢以为称。”后来在集贤院举行宴会，照旧例，官位高者先举杯，张说欲打破陈规，便对诸士子说：“吾闻儒以道相高，不以官阀为先后。”于是，众学士一起举杯同饮，一时传为佳话。张说雅重词学之士，善于用人之长。当时，在文学上有造诣、有名声的韦述、张九龄、许景先、袁晖，赵冬羲、孙逖、王翰等“常游其门”，赵冬羲兄弟六人，韦述兄弟六人并词学登科，张说极口称赞：“赵、韦昆季，今之杞梓也。”
张说“为文俊丽，用思精密，朝廷大手笔，皆特承中旨撰述，天下词人，咸讽诵之”。是当代无人能企及的。他一生著作宏富，除了参与修撰《三教珠英》、主持改撰《开元五礼仪注》以外，还主持编撰了《大唐六典》。又奉玄宗之命，与他人一起类集要事，为诸王子习读而编写了《初学记》30 卷。后人收集他的诗词、文赋、表奏、碑文、墓志，总成文集30 卷。
文学
张说前后三次为相，掌文学之任凡三十年，为开元前期一代文宗，品评文苑，奖掖后进，深孚众望。他为文俊丽，用思精密，朝廷大手笔，多特承帝旨撰述，尤长于碑文墓志。与许国公苏齐名，号称"燕许"。皇甫《谕业》论唐文首列二家，谓"燕公之文，如口木口枝，缔构大厦，上栋下宇，孕育气象，可以变阴阳，阅寒暑，坐天子而朝群后。其文骈、散兼擅，《旧唐书·张说传》载其《谏武后幸三阳宫不时还都疏》等疏表 3篇，皆政论名作。其他题材佳篇，如《起义堂颂》、《西岳太华山碑铭》、《贞节君碑》、《姚文贞公神道碑》、《齐黄门侍郎卢思道碑》，或渊懿朴茂，或放出奇。沈曾植《菌阁琐谈》认为“燕许宗经典重”，已开中唐古文作家梁肃、独孤及和韩愈、柳宗元古文运动的先声。张说又能诗，具盛唐风貌。官岳州后，诗益凄婉，人谓得江山之助。古体如《邺都引》，沈德潜以为“声调渐响，去王、杨、卢、骆体远矣”(《唐诗别裁集》)；近体如《幽州新岁作》，方东树以为“情词流转极圆美”，“亲切不肤”（《昭昧詹言》）。一云张说又能为小说，相传《虬髯客传》为其所作（《说郛》、《虞初志》等题张作），但无确证。
有文集30卷。今通行武英殿聚珍本《张燕公集》25卷、《四部丛刊》影明嘉靖丁酉本《张说之集》25卷。事迹见新、旧《唐书》本传。
