克山县辖6个镇、9个乡：克山镇、北兴镇、西城镇、古城镇、北联镇、西河镇、河南乡、双河乡、河北乡、古北乡、西联乡、发展乡、西建乡、向华乡、曙光乡；克山农场。早在2万年以前的旧石器时代晚期，克山境内已经有了人类的活动。据境内及周围邻县多处文化遗址的考古资料证实，旧石器时代晚期。境内的先民即从事狩猎和采集，其社会发展已进入了母系氏族公社时期。 春秋战国时，克山地属燕的辖境范围。 秦灭燕后归秦。 两汉时期，武帝元朔元年（公元前128年），“秽君南闾等率28万口内属辽东”。元封四年（公元前107年），“汉芹含罩拨秽貉朝鲜以为郡”，克山地属秽貊生息之地。为玄菟郡所辖。 隋朝，克山地在室韦部辖治之内。 唐代为了加强对室韦地区的统治，在当地设立室韦都督府，以“平卢军节度使镇抚室韦、靺鞨”，克山地为其所辖治，隶属河北道。 辽时：克山地为室韦王府辖境，隶属东京道。 金时：克山地隶属上京会宁府。海陵老扒王完颜亮时，“建五京，置十四总管府。是为十九路”，克山一带为蒲峪路治所近畿之地。 元朝，公元1214年成吉思汗分封东方诸王时。松嫩平原一带划归其幼弟铁木哥斡赤斤分封领地。元世祖忽必烈至元四年（1267年）到元贞年间隶属辽阳行省开元路；至元二十四年（1287年），斡赤斤玄孙乃颜叛乱兵败被杀后，其所袭之地纳入辽阳行省辖地。并设蒲峪路屯田万户府，克山地划为该府所辖。 大德年间（1297年）以后水达达路从开元路分置，克山地隶属辽阳行省水达达路管辖。 明初，这一地区为奴儿干都指挥使司下设的福余卫所辖。到永乐四年（1406年）和永乐五年，先后增设苏温河卫、纳木河卫，克山境内南部为嫌闹苏温河卫所辖，克山北部为纳木河卫所辖。 清初，为鄂伦春、索伦（今鄂温克）、达呼尔（今达斡尔）等游牧民族的狩猎区。 清康熙年间，克山为黑龙江将军所辖之齐齐哈尔副都统管辖之地；同时，境内的游牧民族又归布特哈总管巡查。 光绪三十二年（1906年），分置东、西布特哈，克山一带隶属东布特哈辖治。 宣统元年（1909）布海官道（布特哈至海伦）修竣后，在今克山镇处设第三站。宣统二年（1910年）设讷河直隶厅，隶属黑龙江行省讷河直隶厅。 1913年（中华民国2年），讷河直隶厅改为县。此地隶属讷河县。为警察11区及4区、12区部分井地。 1915年（民国4年）3月，经黑龙江巡按公署呈请。设立讷东设治局，隶属黑龙江省龙江道。将讷河县东境、南境原警察区域第4、11、12区划为讷东设治局辖境，委任薛翘如为设治员。衙署初设二克山（今克东县城），因治所附近有双山并峙，俗称克尔克图山（喀尔喀勒图山），简称二克山。因山命名，遂于3月21日改称克山设治局，8月2日 改设克山县。9月，县衙迁移“三站”（亦称察霍镇，今克山县城）。 1932年（伪大同元年）6月7日，日军侵占克山县，仍沿续民国初期隶属关系。 1934年12月1日开始实行新省制，将东北地区分割为]4个省，克山县划归龙江省。 1947年2月4日，黑龙江省与嫩江省合并。成立黑龙江、嫩江联合省（简称黑嫩省），克山县隶属黑嫩省第一专区所辖。9月16日，重新划分黑龙江、嫩江两省，仍隶属黑龙江，1949年4月再次合并，归属新组建的黑龙江。 1954年8月1日，松江省同黑龙江省合并为新的黑龙江省，克山县为省直属县。 1955年1月31日，置嫩江专区，克山县隶属之。 1960年5月12日，撤销嫩江专区，克山县划归齐齐哈尔市。 1961年10月7日复划归嫩江专区。 1968克山县隶属嫩江地区。 1984年12月15日撤销嫩江地区，克山县划为齐齐哈尔市辖县。
