iOS11新加入了非常有科技感的元素:AR以及机器学习。趁着有机器学习的经验,先来体验一次。
准备工作
- Xcode 9
- CoreML Model (Inceptionv3)
主要流程
- 打开Xcode创建一个空的模板工程
- 将下载好的
.mlmodel
文件拖入工程,并确保在Target->Build Phases->Complie Sources
中看见它。⚠️否则无法使用⚠️ - 基于
(懒)快速上手的原因,直接在ViewController
中创建一个UIButton
,绑定弹出相册方法
lazy var btn:UIButton = {[unowned self] in
let btn = UIButton(type: .custom)
btn.setTitle("select", for: .normal)
btn.setTitleColor(.black, for: .normal)
btn.frame.size = CGSize(width: 100, height: 100)
btn.center = self.view.center
btn.addTarget(self, action: #selector(handle), for: .touchUpInside)
return btn
}()
@objc private func handle(){
showAblum()
}
- 遵守相关协议并实现可选方法获得所选图像
此处自定义了一个协议 *** canShowAblum*** 给UIViewController
默认实现一个弹出方法。
protocol canShowAblum : class,UIImagePickerControllerDelegate,UINavigationControllerDelegate{
}
extension canShowAblum where Self : UIViewController{
func showAblum(){
let picker = UIImagePickerController()
picker.delegate = self
picker.sourceType = .photoLibrary
picker.allowsEditing = true
present(picker, animated: true, completion: nil)
}
}
extension ViewController{
func imagePickerController(_ picker: UIImagePickerController, didFinishPickingMediaWithInfo info: [String : Any]) {
if let img = info["UIImagePickerControllerOriginalImage"] as? UIImage{
_ = PictrueLearning(with: img)
}
dismiss(animated: true, completion: nil)
}
}
- 传入图像给训练模型,得到结果
训练模型封装在结构体PictureLearning
中:
struct PictrueLearning {
private init(){}
init(with image:UIImage){
self.init()
train(with: image)//.scale(to: CGSize(width: 299, height: 299)))
}
fileprivate func train(with image:UIImage){
//���确保模型初始化成功
guard let img = image.cgImage,let model = try? VNCoreMLModel(for: Inception().model) else {
return
}
//创建请求
let request = VNCoreMLRequest(model: model) {
guard $1 == nil,let resArr = $0.results,let res = resArr.first as? VNClassificationObservation else { return }
print(res.identifier,res.confidence)
}
DispatchQueue.global().async {
//执行
try? VNImageRequestHandler(cgImage: img).perform([request])
}
}
}
extension UIImage{
func scale(to size:CGSize)->UIImage{
UIGraphicsBeginImageContext(size)
draw(in: CGRect(x: 0, y: 0, width: size.width, height: size.height))
let scaleImage = UIGraphicsGetImageFromCurrentImageContext()
UIGraphicsEndImageContext()
return scaleImage ?? UIImage()
}
}
结果分析
1.尝试了多张图片,发现综合结果较差。 因为无法窥探此模型的内含,只知道是Neural Network Classifier
,影响神经网络的精度的参数有很多,准备之后换自己的模型继续尝试。
2.此模型的输入参数要求为
但传入宽高为<299,299>的处理图片 和 传入原图相比(图片来源于iPhone模拟器),输出结果精度也不同。这个地方还需再研究一下。