Заснований в 1891 році за ініціативою професора Василя Докучаєва. План музею розробляв вчений-краєзнавець Михайло Олеховський. Спочатку розташовувався в флігелі полтавського губернського земства, потім був перенесений до нового будинку, що був побудований в 1903-1908 роках за проектом архітектора Василя Кричевського. В ньому розташовувалося й губернське земство. Будинок виконано в стилі українського модерну. Спочатку в музеї були природничі експонати, пізніше до них поєдналися й історико-культурні. За часів німецько-радянської війни німці три доби палили будинок музею. Сьогодні до фонду краєзнавчого музею входять понад 200 тисяч експонатів. В музеї знаходиться цілісний скелет мамонта, який зібраний з різних фрагментів цих доісторичних тварин.
