張掖，取“張國臂掖，以通西域”之意而得名，史稱甘州。西漢元鼎六年（前111）析武威郡置張掖郡。隋初廢張掖郡為甘州。元為甘州路及山丹州地，屬甘肅行省。1912年為甘涼道地。

1949年設張掖專區，專署駐張掖縣，轄張掖、臨澤、高臺、山丹、民樂5縣。1950年撤銷張掖專區，高臺、臨澤2縣劃歸酒泉專區，張掖、民樂、山丹3縣劃歸武威專區。

1955年復設張掖專區，專署駐酒泉縣。原武威專區所屬張掖、山丹、永昌、民勤、武威、古浪、景泰、永登、民樂等9縣及天祝藏族自治縣（原天祝藏族自治區改），原酒泉專區所屬臨澤、高臺、酒泉、玉門、安西、敦煌、金塔、鼎新等8縣及肅北蒙古族自治縣（原肅北蒙族自治區改）、肅南裕固族自治縣（原肅南裕固族自治區改）、阿克塞哈薩克族自治縣（原阿克塞哈族自治區改，駐博羅轉井）劃歸張掖專區。原由酒泉專區代管的額濟納自治旗（原額濟納自治區改）劃歸張掖專區代管。轄17縣、4自治縣、1自治旗。

1956年，將景泰、永登2縣劃歸定西專區；撤銷鼎新縣，并入金塔縣；張掖專區代管的額濟納自治旗劃歸內蒙古自治區；張掖專區轄14縣、4自治縣。1958年，撤銷張掖縣，設立張掖市；撤銷金塔、酒泉2縣，合并設立酒泉市；撤銷玉門縣，并入玉門市；張掖、酒泉、玉門3市交由張掖專署代管；撤銷臨澤縣，并入張掖、高臺2縣；撤銷民樂縣，并入山丹縣；撤銷古浪縣，并入天祝藏族自治縣。張掖專區轄3市、7縣、4自治縣，專署駐張掖市。

1961年，將酒泉、玉門2市及敦煌、安西2縣和肅北蒙古族自治縣（駐黨城灣）、阿克塞哈薩克族自治縣（駐博羅轉井）劃歸酒泉專區；武威、永昌、民勤3縣和天祝藏族自治縣劃歸武威專區；撤銷張掖市，恢復張掖、臨澤（駐沙河堡）、民樂3縣；張掖專署駐張掖縣，轄5縣、1自治縣。1970年張掖專區改稱張掖地區，轄張掖、民樂、臨澤（駐沙河堡）、高臺、山丹等5縣及肅南裕固族自治縣（駐紅灣寺）。

1985年，張掖縣改為張掖市。1996年，張掖地區面積4.1萬平方千米，人口122.2萬人，轄民樂、山丹、高臺、臨澤4縣及肅南裕固族自治縣，代管張掖市。地區行政公署駐張掖市。2000年第五次人口普查，張掖地區總人口1251754人，其中，張掖市486688人、肅南裕固族自治縣36678人、民樂縣230196人、臨澤縣144875人、高臺縣162159人、山丹縣191158人。

2002年3月1日，國務院批準（國函[2002]16號）：（1）撤銷張掖地區和縣級張掖市，設立地級張掖市。市人民政府駐新設立的甘州區南環路。（2）張掖市設立甘州區，以原縣級張掖市的行政區域為甘州區的行政區域。區人民政府駐縣府街。（3）張掖市轄原張掖地區的臨澤縣、高臺縣、山丹縣、民樂縣、肅南裕固族自治縣和新設立的甘州區。

2003年，張掖市鄉鎮行政區劃調整方案：全市鄉鎮由93個撤并到57個，同時，配套推進合并村社建制。

2009年末，全市常住人口128.81萬人，其中城鎮人口45.73萬人，鄉村人口83.08萬人。轄甘州區和山丹、民樂、臨澤、高臺、肅南五縣，共有60個鄉鎮、5個街道，840個行政村，5655個村民小組。

2010年第六次人口普查，張掖市常住總人口1199515人，其中，甘州區507433人，肅南裕固族自治縣33653人，民樂縣219356人，臨澤縣134328人，高臺縣143446人，山丹縣161299人。

2014年末，全市共有5個街道、39個鎮、21個鄉（其中4個民族鄉）。2015年，省民政廳批復同意：甘州區撤銷長安鄉、明永鄉，設立長安鎮、明永鎮（甘民復〔2015〕48號）；高臺縣撤銷黑泉鄉、羅城鄉，設立黑泉鎮、羅城鎮。