黄山区人民检察院成立于1951年11月24日，原称太平县人民检察署，隶属皖南人民检察署。1954年2月，撤销县检察署，改成县人民检察院，由人民检察院系统垂直领导，独立行使检察权。1956年，隶属安徽省人民检察院芜湖分院。“文化大革命”期间，检察工作中断。1978年10月18日，太平县人民检察院正式恢复挂牌办公。1984年4月25日，最高人民检察院通知成立黄山市（县级）人民检察院，隶属安徽省人民检察院，二审案件仍由徽州检察分院受理。1987年11月27日，黄山市人民检察院改称黄山区人民检察院。