Swift 实现敏感词过滤 - DFA算法

敏感词检测过滤是 App 中很重要的一个功能,敏感词数量动辄几千甚至上万,设计一个好的、高效的过滤算法是非常有必要的。那么有什么比较好的敏感词过滤算法吗?

Google 一下 !

一、 DFA算法简介

DFA 全称为:Deterministic Finite Automaton,即确定有穷自动机。剩下的理论没看懂就不 BB 了,想要了解的自己 Google 去。

二、Swift 实现 DFA 算法

1、构建 DFA 模型

  • 创建模型类
class Node {
    var chirldren = [String: Node]()
    var word = ""
 }
  • 读取敏感词库到数组中
private func getSentiveWords() -> [String] {
    var rootArray = [String]()
    guard let filePath = Bundle.main.path(forResource: "SensitiveWords", ofType: nil) else {return [String]()}
    guard let filterString = try? String(contentsOfFile: filePath, encoding: .utf8) else {return [String]()}
    rootArray.append(contentsOf: filterString.components(separatedBy: "\r\n"))
    return rootArray
}
  • 添加敏感词到 DFA 模型中
private func add(_ word: String, toRootNode root: Node) {
    var node = root
    for letter in word {
        let letterStr = String(letter)
        if node.chirldren[letterStr] == nil {
            node.chirldren[letterStr] = Node()
        }
        node = node.chirldren[letterStr]!
    }
    node.word = word
}
  • 遍历敏感词数组,添加敏感词到 DFA 模型,完成模型构建
private func creatDFAModel() -> Node {
    let root = Node()
    let words = getSentiveWords()
    words.forEach { add($0, toRootNode: root) }
    return root
}

2、敏感词检测与过滤

/// 敏感词过滤
/// - Parameter text: 要检测的文本
/// - Parameter replaceChar: 敏感词替换为某个字符,传入 "" 表示移除敏感词
func filter(text: String, with replaceChar: String = "*") -> FilterResult {
    var filterdStr = text
    var isCotain = false
    for i in 0..<text.count {
        var p = root
        var j = i
        while j < text.count, p.chirldren[text[j]] != nil {
            p = p.chirldren[text[j]]!
            j += 1
        }
        if (p.word == text.subString(from: i, to: (j - 1))) && !p.word.isEmpty {
            var replaceStr = ""
            isCotain = true
            for _ in i..<j {
                replaceStr.append(replaceChar)
            }
            filterdStr = filterdStr.replacingOccurrences(of: p.word, with: replaceStr)
        }
    }
    return (isCotain, filterdStr)
}

三、完整代码(含敏感词库)

Swift 敏感词过滤

OC 实现

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • DFA在wiki上面的解释是“确定有限状态自动机或确定有限自动机(deterministic finite aut...
    谁说咖啡不苦阅读 1,091评论 0 1
  • 1,不能再抽烟了。一生二,二生四,四生无穷。再抽烟我吃屎。 2,“真正的爱就是将自己牺牲,即达到自己死的彼岸。”这...
    大小说家马克阅读 252评论 0 0
  • 终于还是看了《摆渡人》。这部电影在放映前被寄予厚望,放映后被骂到惨不忍睹,网络评分低到尘埃,以至于一直都在看与不看...
    悟哲斯阅读 428评论 2 3
  • 子曰:‘’吾十有五而志于学,三十而立,四十不惑,五十而知天命,六十而耳顺,七十而从心所欲不逾矩。 孔子说:‘’我1...
    随缘简阅读 2,005评论 26 45
  • 特训部题图诗 泛 秋 作者:煮茶桑下 霜叶临秋水,青红两涤瞳。闲云浮远黛,白羽掠长空。不问人间事,岂非世外翁?行...
    随意诗社阅读 985评论 2 3