김창숙은 3.1운동에 유림 민족 대표로서 참석하지 못한 것을 한탄하며 유림을 규합해
한국의 독립을 국제사회에 호소하기 위해 파리장서운동을 계획했다.

“우리 한국은 유교의 나라로, 진실로 나라가 망한 원인을 궁구한다면 바로 이 유교가 먼저
망하자 나라도 따라 망한 것이다. 지금 광복운동을 인도 하는 데에 오직 세 교파가 주장하고
소위 유교는 한사람도 참여하지 않았다. 우리들이 이런 나쁜 명목을 덮어썼으니 무엇이
이보다 더 부끄럽겠는가?”

김창숙은 곽종석, 김복한 등 유림 대표 137명이 서명한 파리 장서를 가지고
상하이와 북경을 거쳐 파리로 가기 위해 출국했다.
김창숙은 상하이에서 이 장서를 영어로 번역하여 민족 대표로 파리강화회의에 파견된 김규식에게 우편으로 보내고 국내 각 향교에는 한문본을 배포했다.
또한 중국의 언론, 정계, 각 국의 대사와 영사, 공사 등에도 배포하였다.

김창숙은 파리로 가는 대신 상하이에 남아 대한민국 임시정부 수립에 참여했다. 특히 대중국 관계에서 활약하는데, 중국의 정치 지도자 및 학계, 언론계 인사 및 외교관을 교섭해 독립 운동을 위한 여러 편의와 지원을 이끌어냈다.

1920년에는 상하이에서 박은식과 사민일보를 발간하고, 베이징에서는 신채호와 천고를 발간해 독립운동 선전 활동을 전개한다. 베이징으로 활동지를 옮긴 심산은 1921년 무장 독립단체인 보합단에 참여해 활동하였으며 이승만의 위임 통치를 비판하는 성토문을 발표한다.

1925년 봄, 김창숙은 이회영, 신채호와 내몽고의 황무지를 개간해 독립군기지를 개척할
계획을 세웠고, 8월 신채호에게만 알리고 국내로 잠입해 신건동맹단을 결성하고
유림을 중심으로 군자금을 모은다. 서울, 대전, 대구, 울산 등 지방을 오가며 모금을 하던 중 허리를 심하게 다치게 되고, 손후익의 집에 머무르며 활동한다.

1926년 3월, 계획만큼 군자금을 모집하지 못한 김창숙은 다시 중국으로 돌아가 나석주를 국내
로 파견한다.

“나는 앞으로 행장을 정리하여 해외로 나가서 해외에 있는 동지들과 함께 재기할 방법을
도모할 것입니다.(중략) 이 돈은 의열단원의 결사대 손에 직접 전해주어 왜정의 각 기관을
파괴하고 친일의 여러 부자를 박멸하여, 이로서 우리 국내의 민기를 고무할 것입니다.
국내에 계신 동지 여러분은 만약 그 기회를 타고 일제히 분기한다면 누가 감히 혁명가의
호령에 응하지 않겠습니까?”

나석주는 국내에 잠입해 식산은행과 동양척식주식회사에 폭탄을 투척했고 일경과의
총격전 끝에 자결했다.

1926년 대한민국 임시의정원 부의장으로 뽑혔으나 이듬해 일제에 체포되어 국내로 압송
되었다. 옥중에서 장남의 사망 소식을 듣고 병이 깊어졌으나 그럼에도 불구하고 일제의
고문에 굴하지 않았으며 자신을 포로라 표현하며 변호사의 변론을 거부하는 등 일제의 모든
통치 체제를 부정하였다.

“일본의 조선 통치를 처음부터 인정하지 않고 있는 나로서 일본 법률을 가지고 죄의 유무를
변론 해 주는 것을 바라지 않는다. 나는 대한 사람으로 일본 법률을 부인한다. 일본
법률론자가 대한인 김창숙을 변호할 수 있겠는가? 나는 포로다.”

1927년, 14년형을 선고 받은 김창숙은 대전형무소로 이감되었고 7년 3개월의 수감
생활 후 1934년경 지병 악화로 형 집행정지로 출옥한다.