試用期間が過ぎた後、社会保険を加入させようと思いますが、これは問題ないのでしょうか。

試用期間は、従業員の適性・能力の判断の為の期間で、期間の定めのある雇用契約とは完全に別のものになります。社会保険の適用の除外になる「2カ月以内の期間を決めて使用される人」は、試用期間のことを指しているわけではありません。これに関して指摘を受けることになると、入社した日に遡って社会保険などに加入させることとなります。
試用期間でも正社員なら、入社した日から社会保険に加入させる必要があります。アルバイトやパートタイマーの場合も、厚生年金保険・健康保険に関しては所定労働日数・郎づお時間が20時間以上になるとき、入社日から適用されることになります。
2カ月以内の契約は基本社会保険の適用除外となりますが、その契約事項に更新の見込みがある場合、延長された時から社会保険に加入させる必要があります。