Segundo Guerra (2004) o início da povoação deu-se durante o ciclo madeireiro, por volta de 1930.
Baseado em depoimentos, dois foragidos da justiça estabeleceram-se em uma abertura em meio a mata ocasionada pela extração de madeira (hoje Câmara de Vereadores) e fizeram um barracão para fins comerciais. Fornecendo aos homens que trabalhavam na exploração da madeira gêneros alimentícios, utensílios e ferramentas.
Posteriormente, tornou-se ponto de pouso para tropeiros que faziam comércio entre Minas Gerais e o extremo sul da Bahia.
Alguns moradores antigos afirmam que a localidade foi inicialmente denominada por Manga Velha, alterando-se para Itagi e posteriormente Itagimirim.
O comércio cresceu e em meados dos anos 40 já existia uma rua inteira ? parte da atual Avenida 13 de maio.
Concomitante ao declínio da exploração de madeira veio a interrupção do ritmo de crescimento do povoado.
Por volta de 1947 marca-se a chegada do primeiro médico em Itagimirim, Dr. Hermes Cerqueira Rocha e a instalação da primeira farmácia.
Onde hoje se encontra a Praça Castro Alves, em 1952 concentrava-se uma grande feira que atraia gente de diversas localidades aos sábados. E em 1954 com a chegada de um motor de luz a diesel, o povoado contou com três máquinas de beneficiar arroz.
Em 1956 foi instalada a primeira sessão eleitoral. Dois anos mais tarde, o povoado foi elevado à condição de Distrito, recebe um Cartório (Tabelionato), uma Coletoria e um Posto Fiscal.
Com a emancipação de Itapebi em 1958, desmembrando de Belmonte, Itagimirim passa a fazer parte do novo município. Surge um movimento emancipacionista, liderado por Othoniel Ferreira dos Santos, Daniel Vargens, Dr. Hugo Santana, José Alves (Zequinha), Arnaldo Santana e Osvaldo Muniz.
Através do então deputado estadual Vespasiano Dias foi encaminhado à Assembléia Legislativa, Projeto de Lei propondo a emancipação que foi aprovada e depois sancionada pelo governador Juracy Magalhães, em 23 de abril de 1962.
No mesmo ano da emancipação, em sete de outubro, foram realizadas as primeiras eleições municipais com posse dos eleitos em sete de abril de 1963. Durante esse período a cidade ficou sob a administração do município de Itapebi.
O primeiro prefeito de Itagimirim foi Daniel Pereira Vargens e a câmara de vereadores composta por Adson Avelino Vargens, Anaildo Ramos Pereira, Antônio Manoel Alves, Darwin Gonçalves Abrão, Domingos Ferreira Batista, Hélio Aguiar, José Brandão, José Teixeira da Cruz, Manoel Andrade.