在有些项目组中，会选择使用SFTP做为文件存储的服务器，最近我负责的一个系统接入公司的一个新系统。他们将生成的文件放在SFTP服务器，然后我要去SFTP去取文件。
SFTP搭建
想要在Linux系统中搭建SFTP服务还是很简单的。具体操作步骤请参考：SFTP服务搭建
SFTP集成
任何服务的继承，都需要引入相关的依赖。JSCH为我们提供了Java操作SFTP的客户端。首先我们需要在POM文件中引入jsch的依赖。
<dependency>
<groupId>com.jcraft</groupId>
<artifactId>jsch</artifactId>
<version>0.1.54</version>
</dependency>
此外，Spring也为我们提供了和SFTP的集成，其实也是对jsch的封装，如果要使用Spring的封装来和SFTP交互的话，需要引入下面的依赖
<dependency>
<groupId>org.springframework.integration</groupId>
<artifactId>spring-integration-sftp</artifactId>
<version>4.2.2.RELEASE</version>
</dependency>
引入spring-integration-sftp，它会间接依赖jsch。不过这里我不打算使用Spring的封装类来操作jsch，而是通过其原生的API来操作。
自定义一个SFTP的工具类。
public class SftpUtil {
private static Logger logger = LoggerFactory.getLogger(SftpUtil.class);
private static ChannelSftp sftp = null;
private static Session sshSession = null;
/**
* 通过SFTP连接服务器
*/
private static void connect(SftpBean sftpBean) {
JSch jsch = new JSch();
Session session;
try {
if (sftpBean.getSftpHost()!=null) {
session = jsch.getSession(sftpBean.getSftpUser(), sftpBean.getSftpHost());
logger.info("连接sftp {}:{} ，用户【{}】", new Object[] { sftpBean.getSftpHost(),
22, sftpBean.getSftpUser() });
} else {
session = jsch.getSession(sftpBean.getSftpUser(), sftpBean.getSftpHost(),
Integer.parseInt(sftpBean.getSftpPort()));
logger.info("连接sftp {}:{} ，用户【{}】", new Object[] { sftpBean.getSftpHost(),
sftpBean.getSftpPort(), sftpBean.getSftpUser() });
}
if (sftpBean.getSftpPassword()!=null) {
session.setPassword(sftpBean.getSftpPassword());
}
session.setConfig("StrictHostKeyChecking", "no");
session.connect(300000);
logger.info("连接sftp {}:{} 成功", new Object[] { sftpBean.getSftpHost(), sftpBean.getSftpPort() });
Channel channel = session.openChannel("sftp");
// 建立SFTP通道的连接
channel.connect(10000);
sftp = (ChannelSftp) channel;
} catch (Exception e) {
e.printStackTrace();
}
}
/**
* 关闭连接
*/
public static void disconnect(){
if (sftp != null && sftp.isConnected()) {
try {
// 要想关闭sftp的连接，注意一定要关闭ChannelSftp对象中的session
if (sftp.getSession() != null) {
sftp.getSession().disconnect();
}
} catch (JSchException e) {
e.printStackTrace();
}
sftp.disconnect();
}
if (sshSession != null && sshSession.isConnected()){
sshSession.disconnect();
}
}
public static InputStream getFileFromSFtp(SftpBean sftpBean, String fileName) throws SftpException {
connect(sftpBean);
try {
sftp.cd(sftpBean.getSftpPath());
} catch (Exception e) {
e.printStackTrace();
}
InputStream inputStream = sftp.get(fileName);
return inputStream;
}
public static void downloadFileFromSFtp(SftpBean sftpBean, String srcFile, String destFile) throws SftpException {
connect(sftpBean);
try {
sftp.cd(sftpBean.getSftpPath());
} catch (Exception e) {
e.printStackTrace();
}
sftp.get(srcFile,destFile);
}
public boolean uploadFile(String remotePath, String remoteFileName,String localPath, String localFileName){
try(FileInputStream in = new FileInputStream(new File(localPath + localFileName));) {
sftp.put(in, remoteFileName);
return true;
} catch (FileNotFoundException e){
e.printStackTrace();
}catch (SftpException e){
e.printStackTrace();
} catch (IOException e) {
e.printStackTrace();
}
return false;
}
}
注意：关闭连接的时候，一定要先关闭ChannelSftp中的session对象
sftp.getSession().disconnect(); 不然会产生一个现象：程序执行完之后，连接依然不会断开。
一些常用的api方法：
put()： 文件上传
get()： 文件下载
cd()： 进入指定目录
ls()： 得到指定目录下的文件列表
rename()： 重命名指定文件或目录
rm()： 删除指定文件
mkdir()： 创建目录
rmdir()： 删除目录
客户端
public class SftpJavaApplication {
public static void main(String[] args){
// handleFileAllInMem();
// downloadFile();
handleFileWithBufferLoop();
}
private static void handleFileWithBufferLoop() {
System.out.println(Runtime.getRuntime().maxMemory()/1024/1024);
SftpBean sftpBean = new SftpBean("192.168.2.200", "mysftp", "mysftp", "/upload");
try(InputStream inputStream = SftpUtil.getFileFromSFtp(sftpBean, "Spitter.java");) {
BufferedReader bufferedReader = new BufferedReader(new InputStreamReader(inputStream));
System.out.println(inputStream.available());
String line = null;
while ((line=bufferedReader.readLine())!=null){
System.out.println(line);
// other handle (check date, insert DB)
}
} catch (Exception e){
e.printStackTrace();
} finally {
SftpUtil.disconnect();
System.out.println("关闭sftp服务器的连接");
}
}
private static void downloadFile() {
SftpBean sftpBean = new SftpBean("192.168.2.200", "mysftp", "mysftp", "/upload");
try {
SftpUtil.downloadFileFromSFtp(sftpBean, "Spitter.java","D:\\Test\\Test.txt");
} catch (Exception e){
e.printStackTrace();
} finally {
SftpUtil.disconnect();
System.out.println("关闭sftp服务器的连接");
}
}
private static void handleFileAllInMem() {
System.out.println(Runtime.getRuntime().maxMemory()/1024/1024);
SftpBean sftpBean = new SftpBean("192.168.2.200", "mysftp", "mysftp", "/upload");
SftpUtil sftpUtil = new SftpUtil();
InputStream inputStream = null;
BufferedReader bufferedReader = null;
try {
inputStream = SftpUtil.getFileFromSFtp(sftpBean, "Spitter.java");
//这里实现一次将流全加载到内存中
byte[] bytes = getBytes(inputStream);
BufferedInputStream bufferedInputStream = new BufferedInputStream(new ByteArrayInputStream(bytes));
bufferedReader = new BufferedReader(new InputStreamReader(bufferedInputStream));
String line = null;
while((line = bufferedReader.readLine())!= null){
System.out.println(line);
}
} catch (Exception e){
e.printStackTrace();
} finally {
if (inputStream!=null){
try {
inputStream.close();
} catch (IOException e) {
e.printStackTrace();
}
}
if(bufferedReader!=null){
try {
bufferedReader.close();
} catch (IOException e) {
e.printStackTrace();
}
}
SftpUtil.disconnect();
System.out.println("关闭sftp服务器的连接");
}
}
private static byte[] getBytes(InputStream in) {
byte[] buffer = null;
try{
byte[] b = new byte[1024];
int n;
ByteArrayOutputStream bos = new ByteArrayOutputStream(1024);
while ((n = in.read(b)) != -1) {
bos.write(b, 0, n);
}
buffer = bos.toByteArray();
} catch (IOException e) {
e.printStackTrace();
}
return buffer;
}
}
handleFileAllInMem()一次将文件的流全读到流中，这会产生内存溢出。当然如果能够预知每次处理的文件都会不很大，那么这种写法也没有问题。
downloadFile()方法将文件下载到本地，不会产生内存溢出的问题。这种适合文件较大，网络不是很稳定的情况。如果文件超大的话，我们可以使用多线程实现多点续传的方式来加速。如果HTTP协议通过HttpUrlConnection很好实现，不过SFTP暂时没发现什么好的方法（如果你知道了，烦请告诉我，让我学习一下）。
handleFileWithBufferLoop()方法将网络流每次处理一行，即每次加载一行到内存，这也能解决内存溢出问题。但是如果存在网络波动的情况，此方式没法很好的解决。
