任务概述
近期老师给我布置了一个任务，用Perl写一个爬虫自动化提交蛋白质数据到网页上分析。
网站名字叫做flexpepdock，首页上有整个网站的介绍。
可以看到这个网站可以对接肽和蛋白，然后对肽-蛋白复合物建模。我的工作就是完成自动化将“本地文件上传到这个网站，让网站分析，最后保存结果地址”这个过程，细节如下：
实战细节
首先自己先手动跑一遍整个流程。用的是网站上提供下载的example.pdb文件。在左边的Demo栏可以下载。
提前F12打开网络活动，提交文件之后（邮箱可以不填），发现网页发生跳转。让我们看看在这个跳转过程中发生了什么——用户通过post请求向如下地址发送了一个multipart/form-data，服务器解析该表单，向用户返回结果。
那么该如何向服务器post multipart/form-data呢？在一番搜索之后，我发现curl可以完成这个工作。伪代码如下：
curl -F upload=@example.pdb -o output.html url
-F 是curl的内置工具用来提交multipart?form-data的，example.pdb是本地文件，-o 选项用于将结果输出成一个html文件，url则是我们需要请求的地址。linux系统下可以直接在终端输入命令完成请求。
因为老师要求使用perl，我便在perl脚本中调用Linux命令。
#!/usr/env/perl
curl -F upload=@example.pdb -o example.html http://flexpepdock.furmanlab.cs.huji.ac.il/saveFile.php
试运行了一下，在终端用cat命令查看example.html内容。
cat example.html
成功找到了我们需要的结果保存地址。接下来的工作便是将结果保存和完成批量本地文件自动上传。
提取并保存结果
想要提取我们的结果自然是要用正则表达式啦。这里用一个比较笨也比较直接的方法写正则表达式：
$content =~ /http:..flexpepdock.furmanlab.cs.huji.ac.il.res.*index.php;
与原url（http://flexpepdock.furmanlab.cs.huji.ac.il/res/607a8b358e19b/index.php）对比，可以看到我将我们需要保存的地址中的所有符号都换成了"."，避免报错，将关键的会随着不同上传文件而变化的字段“607a8b358e19b”用"."代替。perl的正则表达式中"."可以代表任意单个字符，而“.”可以代表任意多个字符。
接下去就是将结果写入文件"job_url"
open (OUT,">>$outputdir/job_url"); # >>表示追加输入模式，即打开文件在最后一行输入
$content =~ /http:..flexpepdock.furmanlab.cs.huji.ac.il.res.*index.php/;
if ("$&\n!=''") #判定正则匹配结果是否为空
{
print "$&\n"; # $&表示正则表达式匹配的结果
print OUT "$&\n"; #该语句用于将结果写入文件
}
else
{
print "$s uploading failed"
}
close OUT;
批量上传本地文件
$s =$ARGV[0]; #用ARGV获取命令行参数
$inputdir = "/home/zhiling/$s"; #文件输入路径
$outputdir = "/home/zhiling/"; #结果输出路径
curl -F upload=@"$inputdir" -o example.html http://flexpepdock.furmanlab.cs.huji.ac.il/saveFile.php;
ARGV能够获得命令行参数。因此，我们只需要在命令行输入perl+脚本名+*.pdb就能将所有的pdb文件都逐一通过curl上传到网站上分析。比如我给我的脚本命名“get_JobUrl”，那么只需在linux终端输入如下命令，就可以完成批量分析了。
perl get_JobUrl *.pdb
linux终端中，“*”表示匹配任意字符，即该命令能将所有后缀为pdb的文件都用上述流程分析一便。
完整代码
#!/usr/env/perl
#
#usage perl get_JobUrl.pl *.pdb
#
#input /home/zhiling/$s
#output /home/zhiling/job_url
#
#website http://flexpepdock.furmanlab.cs.huji.ac.il/saveFile.php
#
$s =$ARGV[0];
$inputdir = "/home/zhiling/$s";
$outputdir = "/home/zhiling/";
## use curl to post multipart/form-data
`curl -F upload=@"$inputdir" -o example.html http://flexpepdock.furmanlab.cs.huji.ac.il/saveFile.php`;
## store response
$file = "example.html";
open (IN,$file);
my $content = join("",<IN>);
print $content;
close IN;
`rm example.html`;
## store job url
open (OUT,">>$outputdir/job_url");
$content =~ /http:..flexpepdock.furmanlab.cs.huji.ac.il.res.*index.php/;
if ("$&\n!=''")
{
print "$&\n";
print OUT "$&\n";
}
else
{
print "$s uploading failed"
}
close OUT;
