额尔古纳河流域是蒙古族的发祥地。战国、秦代为东胡驻地，汉代为匈奴左贤王庭辖地。三国、晋、南北朝时期为鲜卑部落联盟东部辖地。隋、唐时期为蒙兀室韦部落驻地。唐设室韦都督府进行管辖。辽代为乌古敌烈统军司辖地。金代归东北路招讨司所辖，为扎答兰部和翁吉剌部驻地。成吉思汗统一蒙古草原后，该地为其大弟拙赤·哈撒尔封地，今黑山头镇古城遗址即哈撒尔故都。元代，该地归岭北行省合林路所辖。明朝归奴尔干都指挥使司下设的坚河卫所辖。清代为呼伦贝尔副都统辖地。

清康熙28年（1689年），《中俄尼布楚议界条约》签订，确定额尔古纳河东岸属中国，西岸属俄国。

清雍正5年（1727年），沿额尔古纳河设置18座卡伦，管理边务和内政。

清光绪34年（1908年），设吉拉林设治局，管理境内行政、边务事宜，1912年废。

1920年，设室韦县和奇乾设治局。

1921年，奇乾设治局改奇乾县。

1930年，室韦县府由吉拉林迁至河坞（今苏沁屯）。

1932年12月，“满洲国”民政部将室韦、奇乾二县划归伪兴安北省管辖。

1933年1月1日，“满洲国”取消室韦县和奇乾县，改为办事处。同年7月12日，将原室韦县境划为额尔古纳左翼旗（习称东额旗），旗公署设于奈勒穆图（今三河镇）；将原奇乾县境划为额尔古纳右翼旗（习称西额旗），旗公署设于吉儒穆图（今奇乾乡）。

1945年8月9日，伪满政权垮台。8月10日，苏联红军进驻三河街并成立了维持会。

1946年，经呼伦贝尔自治政府批准，成立了额尔古纳左翼旗公署和额尔古纳右翼旗公署。

1947年11月，中国共产党派呼伦贝尔工作团进驻三河街。

1948年2月16日，经内蒙古自治政府批准，将额尔古纳左、右翼两旗合并为额尔古纳旗。旗政府设在三河街（今额尔古纳市三河镇）。

随着大兴安岭林区开发，根河镇、好里堡镇、得耳布尔镇、金河镇、牛耳河镇于1955～1959年相继成立，1961年8月以前由喜桂图旗代管。1961年8月，额尔古纳旗政府迁至根河镇，接收了原喜桂图旗代管的根河、好里堡、得耳布尔、金河、牛耳河5个镇和阿龙山、满归2个地区。

1966年4月1日，国务院批准撤销额尔古纳旗，设额尔古纳右旗和额尔古纳左旗。额尔古纳左旗政府设在根河镇。

1969年8月1日，额尔古纳左旗随同呼伦贝尔盟划入黑龙江省。1979年7月1日，额尔古纳左旗又划归内蒙古自治区。

1994年4月28日，国务院批准撤销额尔古纳左旗，设立根河市。撤销根河镇，建立中央路、河西、森工路3个街道办事处。根河市下设6个镇1个乡3个办事处。