흉노(匈奴) 토벌에 큰 공을 세웠다. 곽중유(霍仲孺)가 위소아(衛少兒:무제의 위황후의 언니, 大將軍 衛靑의 손윗누이)와 밀통(密通)하여 낳은 아들인데, 무예에 뛰어나고 용감하였다고 한다. 18세 때 시중(侍中)이 되어 곧 위청(衛靑)을 따라 흉노토벌에 나서 공을 세워 관군후(冠軍侯)로 봉해졌다. 3년 후인 BC 120년 표기장군(驃騎將軍)이 되어 감숙(甘肅)으로 출정하고, 그해 여름에는 북방으로 말머리를 돌렸다.
이런 식으로 흉노토벌에 나간 일이 6차례였으며, 정예부대를 이끌고 대군(大軍)보다 먼저 적진 깊숙이 쳐들어가는 전법을 써서, 한제국의 영토 확대에 지대한 공을 세워 위청과 함께 대사마(大司馬)가 되었으나 그 권세는 위청을 능가했다고 한다. 그러나 불과 24세로 죽자 무제는 크게 슬퍼하여, 장안(長安) 근교의 무릉(茂陵)에 무덤을 짓되, 일찍이 곽거병이 대승리를 거둔 기련산(祁連山:天山)의 형상을 따게 하여 그의 무공을 기렸다.
이 무덤은 지금도 무제릉(武帝陵) 가까이에 있으며, 무덤 앞에는 호인(胡人)을 밟고 선 석마(石馬)가 있다.