字는 손오(巽吾)이며 아호는 금헌(琴軒)이다. 제학공(휘 익달)의 후손으로 을사명현(乙巳名賢)인 구암공 휘 충갑(忠甲)의 제 6子로 충무공 김시민 장군의 제 3弟로 충북 괴산군에서 출생하였다(청천면 덕평리(구 淸州郡 東面 大田里)) 라고도 함). 어려서부터 천성이 堅强하고 意氣가 뛰어나며 지혜가 비범하였다. 자라면서는 그 용모와 기품이 형님인 충무공을 많이 닮았고 우애 또한 각별히 돈독하였다.  

1592년(선조25) 임진왜란이 발발하자 진주에서 목사인 형 충무공 시민을 도와 진주대첩의 공을 함께 세웠다. 그 후 괴산에 돌아와 의병을 일으키고 1597년(선조30) 괴산(槐山) 의병의 선봉장(先鋒將)이 되어 창의병(倡義兵)을 거느리고 각지에서 왜적을 격파하였다. 이 사실이 조정에 알려져 서애 유성룡은 선조께 천거하여 특별히 별장(別將)을 제수받았다. 이후 각처에서 만호와 절충장군(折衝將軍)을 역임하였고, 인조반정 후 통정대부 동부승지에 제수하였으나 고사하였고 곧 의주부윤으로 임명하였다. 그 뒤 창성부사가 되었는데 후금의 침략이 걱정되던 때였다.

1627년(인조5) 미처 성을 보수하고 전쟁에 대비할 틈도 없이 불시에 대군의 호병(胡兵-후금, 청)이 공격해 들어와(丁卯胡亂) 중과부적으로 공은 두 아들과 함께 포로가 되었다가 장렬하게 전사하였다. 1683년 (숙종 9) 정문(旌門)이 세워지고 병조참판(兵曹參判)에 추증되었으며 시호는 충숙(忠肅)이다. 초혼묘가 충북 괴산군 청천면 덕평리 가지산에 있으며  1998년에 충숙공 김시약 장군 현양위원회(회장 이춘우)가 구성되어 묘역 성역화 사업이 활발히 추진되고 있다.