그는 태어난 지 8개월 만에 글을 알았고 세 살 때 시를 지었다. 이 소문이 세종의 귀에까지 들어갔다. 나이 5세 때 세종께서 김시습을 불러 지신사(知申事)를 시켜 이렇게 물었다.

“童子之學 白鶴舞靑空之末(동자지학 백학무청공지말)”
너의 공부는 백학이 푸른 하늘 끝에서 춤추는 듯하구나.
이에 김시습이 대답하였다.
“聖主之德 黃龍飜碧海之中(성주지덕 황룡번벽해지중)”
임금님의 덕은 황룡이 푸른 바다 가운데를 뒤집는 것 같습니다.

이 말을 들으시고 세종께서 이렇게 하명하였다.
“학문을 더욱 가르치고 길러 나이 장성하고 학업이 성취되기를 기다려서 내가 장차 크게 쓰겠노라”
그리고는 비단 오십 필을 상으로 주어서 스스로 가지고 가게 하였다. 어린 김시습이 무거운 비단을 가지고 갈 수 없어 그 끝을 허리에 둘러 끌고 나갔다. 이로 말미암아 그의 이름이 조선에 진동하여 이름 대신 오세(五歲 : 다섯 살)라고 불렸다.