오지게 모르겠는 'THAT'

다음 중 어떤 문장은 that 또는 which를 둘 다 사용할 수 있고, 어떤 문장은 which만 사용할 수 있습니다. which만 가능한 경우 that위에 '-'표시를 하시오. 또한 쉼표(,)가 필요하면 사용하시오. My office that/which is in the second floor of the building  is very small. The office that/which I'm using at the moment  is very small. 답 _ My office(, which) is in the second floor of the building  is very small. The office (that 또는 which) I'm using at the moment  is very small. 왜 위의 문장은 안되고 아래 문장은 되죠? 계속 찾다 보니까 다른 곳에서 'that'이 쓰일 수 없는 경우로 (1)소유격에서 (whose대신) that 사용 불가 (2)전치사와 붙여 사용 불가(전치사의 목적격으로) (3)비 제한적 용법일 경우 로 되 있는데 (3)번에 해당하는 것 같긴 한데, 잘 모르겠어요 누가 좀 알려줘요!