前言
项目Github地址:https://github.com/LXD312569496/XiaoMiDemo
仿小米应用商店的实现,目前完成界面显示和基本功能的开发,代码一般般,后面会继续完善代码。数据的来源是利用Jsoup直接抓取小米应用商店官网的数据(很尴尬,不会利用python去爬虫,现在就只能先这样弄了)。主要还是抱着一种学习的态度,熟悉第三方库的使用和熟悉基本Android的开发流程。部分功能还未实现,做得不完善的地方,希望大家多给些建议。
开源框架
- Jsoup解析 https://github.com/jhy/jsoup
- Butterknife注解式框架 http://jakewharton.github.io/butterknife/
- Glide图片加载框架 https://github.com/bumptech/glide
- Retrofi网络请求框架 https://github.com/square/retrofit
- OkGo 网络框架 https://github.com/jeasonlzy/okhttp-OkGo
- SmartRefreshLayout下拉刷新上拉加载库 https://github.com/scwang90/SmartRefreshLayout
- Butterknife事件注解 https://github.com/JakeWharton/butterknife
- FlycoTabLayout库 https://github.com/H07000223/FlycoTabLayout
功能
- 加载并显示不同分类的APP页面,利用Fragment和ViewPager实现懒加载
- 对比本地已安装应用,判断是否需要安装或者升级
- 搜索功能
- 多线程断点下载(暂时是假数据,因为抓取不到每个应用的apk的下载地址)
- 省流量模式
Jsoup获取数据
简介:Jsoup 是一款Java 的HTML解析器,可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API,可通过DOM,CSS以及类似于jQuery的操作方法来取出和操作数据。
设计:项目中关于Jsoup的操作代码,是在一个JsoupUtil类中,网络请求获取到源代码后就调用JsoupUtil中的方法进行解析操作,每一个App的信息保存在AppInfo的实体类中。
步骤:比如用chorme浏览器,打开小米应用商店官网,然后按F12,就可以看到网站的代码了,然后我们查看要抓取的数据所在的节点,然后根据节点的属性(比如class或者id)获取到指定节点的元素。
以获取精品页面的App为例子,按F12查看,定位到App列表所在的节点,首先是一个class属性为applist-wrap的div节点中,然后是里面的一个叫class属性为applist的ul表格中,然后表格中每一个元素就是一个App的信息。对于每一个子节点,根据需要获取相应的信息,保存到AppInfo的实体类中。具体可以看下面的代码
/**
* 精品推荐
**/
public static List<AppInfo> getAPPInfoList(String result) {
// Log.d("test", "getAPPInfoList:" + result);
List<AppInfo> appInfoList = new ArrayList<>();
Document document = Jsoup.parse(result);
Elements elements = document.select("div.applist-wrap").first().select("ul.applist").select("li");
for (int i = 0; i < elements.size(); i++) {
Element element = elements.get(i);
AppInfo appInfo = new AppInfo();
//抓取相应的信息
appInfo.setAppName(element.select("h5").text());
appInfo.setIcon(element.select("img").attr("data-src"));
appInfo.setDetailUrl(element.select("a").attr("href"));
appInfo.setCategory(element.select("p.app-desc").first().text());
appInfoList.add(appInfo);
}
return appInfoList;
}
网络请求
主要是利用Retrofit(同时学习Retrofit的使用)
下面是网络请求接口的定义:
public interface XiaoMiInterface {
public static final String BASE_URL = "http://app.mi.com";
/**
* 精品推荐
*
* @return
*/
@GET("/allFeaturedList")
Observable<String> getAllFeaturedList();
/**
* 应用的详情页面
*/
@GET("/details")
Observable<String> getDetailInfo(@Query("id") String detailUrl);
/**
* 应用排行
*
* @return
*/
@GET("/topList")
Observable<String> getRankList(@Query("page") int page);
/**
* 获取分类的排行
*/
@GET("/catTopList/{category}")
Observable<String> getCatTopList(@Path("category") int category, @Query("page") int page);
/**
* 获取分类的精品
*/
@GET("/hotCatApp/{category}")
Observable<String> getHotCatApp(@Path("category") int category);
/**
* 获取分类的新品
*/
@GET("/category/{category}")
Observable<String> getCatNewApp(@Path("category") int category,
@Query("page") int page);
/**
* 搜索
*/
@GET("/search")
Observable<String> search(@Query("keywords") String keywords);
/**
* 应用的下载地址
*/
@GET("/download/{id}")
Observable<String> donwLoad(@Path("id") int id);
}
然后再对网络请求返回的String字符串进行Jsoup解析,返回相应的结果,具体代码是在RetrofitManager的类中,比如获取精品应用的代码:
/**
* 精品推荐
*/
public Observable<List<AppInfo>> getAllFeaturedList() {
return mXiaoMiInterface.getAllFeaturedList()
.subscribeOn(Schedulers.io())
.map(new Func1<String, List<AppInfo>>() {
@Override
public List<AppInfo> call(String s) {
return JsoupUtil.getAPPInfoList(s);
}
});
}
多线程断点下载
这部分之前自己也写代码实现断点续传的功能,写得一般般。所以这次直接用OkGo库中,有一个专门用来实现断点下载的OkDownload类,具有下载管理的功能。OkDownload的文档:https://github.com/jeasonlzy/okhttp-OkGo/wiki/OkDownload
每一个下载任务就是一个DownLoadTask,调用start()方法进行下载,并监听整个过程,比如监听下载进度。
下面是相关的一部分代码:
holder.btnDownload.setOnClickListener(new View.OnClickListener() {
@Override
public void onClick(View v) {
task.register(new DownloadListener(task.progress.url) {
@Override
public void onStart(Progress progress) {
}
@Override
public void onProgress(Progress progress) {
int percent = (int) (progress.currentSize * 100 / progress.totalSize);
holder.progressBar.setProgress(percent);
holder.tvState.setText(percent + "%");
notifyItemChanged(position);
}
@Override
public void onError(Progress progress) {
}
@Override
public void onFinish(File file, Progress progress) {
mDownLoadTaskList.remove(position);
notifyItemRemoved(position);
DownloadFinishFragment.addFinishTask(task);
}
@Override
public void onRemove(Progress progress) {
}
});
task.start();
}
});
运行截图
总结
本项目仅供参考,主要还是用来学习的,整体做得还不是很好,部分功能还没有实现,后面慢慢完善。如果觉得对你有帮助,给个Star吧亲~
谢谢观看,希望大家都能愉快地打代码!