劳动者不服从工作地点调整，用人单位直接解除劳动合同的情况，需要根据《中华人民共和国劳动合同法》的相关规定进行详细分析。
首先，《劳动合同法》第三十五条规定：“用人单位与劳动者协商一致，可以变更劳动合同约定的内容。变更劳动合同，应当采用书面形式。”因此，如果工作地点的调整涉及到劳动合同内容的重大变更，应当经过与劳动者的充分协商，并达成书面协议。未经劳动者同意，用人单位单方面调整并据此解除劳动合同的行为可能被视为违法。
其次，《劳动合同法》第四十条规定了在特定情况下（例如，劳动者患病或非因工负伤，在规定的医疗期满后不能从事原工作，也不能从事由用人单位另行安排的工作等）用人单位可以提前通知劳动者解除劳动合同。但是，对工作地点的一般性调整并不符合这些法定解除条件。
若用人单位违反上述规定，直接以劳动者不服从工作地点调整为由解除劳动合同，则可能构成违法解除。按照《劳动合同法》第八十七条的规定：“用人单位违反本法规定解除或者终止劳动合同的，应当依照本法第四十七条规定的经济补偿标准的二倍向劳动者支付赔偿金。”
此外，除了支付赔偿金之外，如果劳动者因此产生了实际损失，比如工资收入减少、社保待遇中断等，劳动者有权要求用人单位赔偿相应的经济损失。
综上所述，用人单位在处理此类问题时应遵循法定程序，尊重劳动者的合法权益，否则将承担包括但不限于继续履行劳动合同、支付赔偿金及赔偿经济损失等法律责任。同时，劳动者的权益受到侵害时，也可以通过申请劳动仲裁或提起诉讼的方式寻求法律救济。
