495년 인도의 발타선사가 창건하였으며, 달마대사가 소림사에서 수련하여 돈오하여 선종의 창시자가 되었다. 소림사는 선불교가 발생한 곳이며 승려들이 무술을 수련한 곳으로 잘 알려져 있다. 승려들의 무술 수련은 미디어를 통해 과장된 측면이 있으며 실제로는 소림사 주변의 말사 등에서 수련한 사실이 있다고 한다. 지금은 소림사 경내에서는 무술을 수련하지 않으며 주변의 무술학교에서 가르치고 있다.