秦統一六國，建立起統一的、多民族的封建中央集權國家，全面推廣春秋戰國時期己出現的郡縣制，分全國為36郡（后增為40郡）。當時，省境行政區劃郡、縣兩級制，共設隴西、北地2 郡。隴西郡郡治狄道（故治在今臨洮縣東北），轄區約當今甘肅東南部之地；北地郡治義渠（故治在今寧縣西北），轄區約當今甘肅東北部和寧夏回族自治區東南部之地。今甘南東南隅之一部屬于漢中郡（治南鄭，今陜西省漢中）。縣以下基層行政組織為鄉、里。
　　西漢時期的行政區劃同代一樣，仍為郡縣兩級制。公元前205 年，漢高祖始占有隴西、北地兩郡。隨著漢王朝疆域的不斷擴大，郡縣數隨之猛增。漢武帝憑借漢朝強大的經濟、軍事實力，從公元前133 年到公元前119 年，集中兵力反擊匈奴的經常騷擾，并取得軍事上的勝利，在了基礎上遂先后于元狩二年（公元前121 年）置武威、酒泉二郡。過了10年，于元鼎六年（公元前111 年），分武威郡置張掖郡，析酒泉郡置敦煌郡。同時遷徙內地貧民到河西4 郡，在沿黃河自朔方以西至令居（今永登縣西），廣泛實行軍事屯田，軍農結合，鞏固邊防。河西4 郡的設置，對切斷匈奴與西羌的交通，辟我國通行西域的走廊，對于開發河西，促進這一地區經濟和文化的發展，具有十分重要的意義。其后于漢武帝元鼎三年（公元前114 年）又增置天水、安定郡；元鼎六年（前111 年）設武都郡；漢昭帝始元六年（公元前81年），從天水、隴西、張掖3 郡各分出兩個縣建立金城郡。這樣，就使省境郡的數目由秦代的兩個郡增為10個郡，共轄115 縣、10道（縣一級，在少數民族地區設置）。1 0 個道是：嘉陵道（故治在今成縣西北）、循成道（故治在今陜西略陽縣西北）、下辨道（故治在今成縣西）、略畔道（故治在今合水縣西南）、義渠道（故治在今寧縣西北）、陰平道（故治在今文縣）、平樂道（故治在今康縣西北平洛鎮）、戎邑道（故治在今秦安縣東）、綿諸道（故治在今天水市北道區東）、略陽道（故治在今秦安縣東北）。除行政區以外，西漢王朝為加強中央集權，還在地方設置監察區。漢武帝元封五年（公元前1 0 6 年）分天下為1 3 個刺史部（州），即1 3 個監察區，每部派一刺史（漢成帝時更名為州牧），每年8 月巡行所屬郡國，按照西漢中央政府規定的六條，省察地方政務，黜陟能否，檢舉官吏的不法行為，糾察強宗豪右，斷理冤獄。當時甘肅屬涼州刺史部。
　　東漢時，行政區劃大體上是州、郡、縣三級制。漢靈帝中平五年（公元188 年），為了加強地方官的實力，鎮壓農民起義，改革地方行政制度，擴大刺史權力，并將刺史更名為州牧，確定州為郡上面的一級地方政權。這就使實行了400 年之久的郡縣兩級制擴大為州、郡、縣三級制。當時甘肅屬涼州，治隴（故治即今張家川回族自治縣），轄區約當今甘肅大部和寧夏回族自治區的南部。涼州共轄10個郡、2 個屬國、99縣。10個郡與西漢時的建置相同，即：武都、隴西，金城，漢陽（原為天水郡，東漢明帝永平十七年即公元74年更名）、武威、張掖、酒泉、敦煌、安定、北地等郡，只是轄縣有所調整，比西漢時減少了26個。但郡的設置卻增加了兩個，即張掖屬國（今張掖市的東北，長官為屬國都尉）、張掖居延屬國（在居延海西，故址即今內蒙古自治區額濟納旗，長官為都尉）。屬國在政區上相當于郡，為少數民族管理區。另外，省境南部邊緣的一小部分地區分屬益州。