springBoot使用Ip2Region获取归属地查询时数组越界

现象:Ip2Region查询时报错java.lang.ArrayIndexOutOfBoundsException
原因:maven resources 拷贝文件是默认会做 filter,会导致数据文件发生变化,导致文件不能被读
解决过程:
1、本地跑单测是没有问题的,本地跑应用也没有问题,但是线上不行报数组越界,且searcher的contentBuf属性大小不一样;
首先怀疑,是路径问题,没有加载到(这里其实有误区,如果没加载到contentBuf应该是空,但实际是有值的),因为测试环境和生产环境都是容器,是不是环境导致了路径上会有什么变化;各种查询加载方式试了一圈都不行;

本地正常的searcher


企业微信截图_17285526328025.png

线上不正常的searcher


企业微信截图_17285526786871.png

获取代码如下

package com.ZOCO;

import lombok.extern.slf4j.Slf4j;
import org.apache.commons.lang3.tuple.Pair;
import org.lionsoul.ip2region.xdb.Searcher;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.core.io.ClassPathResource;
import org.springframework.stereotype.Component;
import org.springframework.util.FileCopyUtils;
import org.springframework.util.StringUtils;

import javax.servlet.http.HttpServletRequest;
import java.io.IOException;
import java.io.InputStream;
import java.net.InetAddress;
import java.net.UnknownHostException;

/**
 * @ClassName: Ip2RegionUtil
 * @Description:
 * @Author: ZOCO
 * @date: 2024-09-18 11:26
 * @Version: 1.0.0
 **/
@Slf4j
@Component
public class Ip2RegionUtil {

    //    private static final String IP2REGION_DB_PATH = "/Users/zoco/warehouse/code/store/xsyx-store-operation-service/operation-common-util/src/main/resources/ip2region/ip2region.xdb";
    private static final String IP2REGION_DB_CLASSPATH = "ip2region/ip2region.xdb";


    //    private static void test() throws Exception {
//        String dbOath = String.valueOf(Object.class.getResource(IP2REGION_DB_PATH));
//        byte[] bytes = Searcher.loadContentFromFile(IP2REGION_DB_PATH);
//        Searcher searcher = Searcher.newWithBuffer(bytes);
//        String search = searcher.search(testIP);
//        System.out.println(search);
//    }
    private static String testIP = "10.253.0.101";

    public static void main(String[] args) throws Exception {
//        test();
        System.out.println(getProvince(testIP));
        System.out.println(getCountry(testIP));
        System.out.println(getIp2region(testIP));
//        System.out.println(getIPAndProvince(null));
    }

    private static final Logger logger = LoggerFactory.getLogger(Ip2RegionUtil.class);
    private final static String localIp = "127.0.0.1";
    private final static String SPLIT_REG = "\\|";
    private final static String UNKNOWN = "未知";

    private static Searcher searcher;

    /**
     在服务启动时加载 ip2region.db 到内存中
     解决打包jar后找不到 ip2region.db 的问题
     */
    static {
        try {
//            InputStream ris = Ip2RegionUtil.class.getResourceAsStream(IP2REGION_DB_CLASSPATH);
            ClassPathResource resource = new ClassPathResource(IP2REGION_DB_CLASSPATH);
            if (!resource.exists()) {
                logger.error("ip2region加载失败,找不到文件,path:{}!!!!", IP2REGION_DB_CLASSPATH);
            }
            InputStream ris = resource.getInputStream();
            byte[] dbBinStr = FileCopyUtils.copyToByteArray(ris);
            searcher = Searcher.newWithBuffer(dbBinStr);
            //注意:不能使用文件类型,打成jar包后,会找不到文件
            logger.info("ip2region缓存成功,path:{}!!!!", IP2REGION_DB_CLASSPATH);
        } catch (IOException e) {
            logger.error("Ip2Region解析ip地址失败, 无法创建搜索器:{}", e);
            throw new RuntimeException(e);
        }
    }

    /**
     * 获取用户真实IP地址,不使用request.getRemoteAddr();的原因是有可能用户使用了代理软件方式避免真实IP地址,
     * 参考文章: http://developer.51cto.com/art/201111/305181.htm
     * 可是,如果通过了多级反向代理的话,X-Forwarded-For的值并不止一个,而是一串IP值,究竟哪个才是真正的用户端的真实IP呢?
     * 答案是取X-Forwarded-For中第一个非unknown的有效IP字符串。
     * 如:X-Forwarded-For:192.168.1.110, 192.168.1.120, 192.168.1.130, 192.168.1.100
     * 用户真实IP为: 192.168.1.110
     *
     * @param request
     * @return
     */
    public static String getIp(HttpServletRequest request) {
        log.info("获取请求的真实IP,request:{}", request);
        String ipAddress;
        try {
            // 以下两个获取在k8s中,将真实的客户端IP,放到了x-Original-Forwarded-For。而将WAF的回源地址放到了 x-Forwarded-For了。
            ipAddress = HttpUtils.getIp(request.getHeader("X-Original-Forwarded-For"));
            if (ipAddress == null || "unknown".equalsIgnoreCase(ipAddress)) {
                ipAddress = HttpUtils.getIp(request.getHeader("X-Forwarded-For"));
            }
            //获取nginx等代理的ip
            if (ipAddress == null || "unknown".equalsIgnoreCase(ipAddress)) {
                ipAddress = HttpUtils.getIp(request.getHeader("x-forwarded-for"));
            }
            if (ipAddress == null || ipAddress.length() == 0 || "unknown".equalsIgnoreCase(ipAddress)) {
                ipAddress = request.getHeader("Proxy-Client-IP");
            }
            if (ipAddress == null || ipAddress.length() == 0 || "unknown".equalsIgnoreCase(ipAddress)) {
                ipAddress = request.getHeader("WL-Proxy-Client-IP");
            }
            if (ipAddress == null || "unknown".equalsIgnoreCase(ipAddress)) {
                ipAddress = request.getHeader("HTTP_CLIENT_IP");
            }
            if (ipAddress == null || "unknown".equalsIgnoreCase(ipAddress)) {
                ipAddress = request.getHeader("HTTP_X_FORWARDED_FOR");
            }

            // 2.如果没有转发的ip,则取当前通信的请求端的ip(兼容k8s集群获取ip)
            if (StringUtils.isEmpty(ipAddress) || "unknown".equalsIgnoreCase(ipAddress)) {
                ipAddress = request.getRemoteAddr();
                // 如果是127.0.0.1,则取本地真实ip
                if (localIp.equals(ipAddress)) {
                    // 根据网卡取本机配置的IP
                    InetAddress inet;
                    try {
                        inet = InetAddress.getLocalHost();
                        ipAddress = inet.getHostAddress();
                    } catch (UnknownHostException e) {
                        e.printStackTrace();
                        logger.error("ip2region获取IP地址失败", e);
                    }
                }
            }

            // 对于通过多个代理的情况,第一个IP为客户端真实IP,多个IP按照','分割
            if (ipAddress != null && ipAddress.length() > 15) {// = 15
                if (ipAddress.indexOf(",") > 0) {
                    ipAddress = ipAddress.substring(0, ipAddress.indexOf(","));
                }
            }
        } catch (Exception e) {
            logger.error("ip2region解析请求IP失败", e);
            ipAddress = "";
        }
        return (StringUtils.isEmpty(ipAddress) || "0:0:0:0:0:0:0:1".equalsIgnoreCase(ipAddress)) ? localIp : ipAddress;
    }


    /**
     * 获取 IP和省信息
     *
     * @param request
     * @return IP, 省份
     */
    public static Pair<String, String> getProvince(HttpServletRequest request) {
        return getProvince(getIp(request));
    }

    /**
     * 根据ip获取 省信息
     *
     * @param ipAddress
     * @return IP, 省份
     */
    public static Pair<String, String> getProvince(String ipAddress) {
        if (StringUtils.isEmpty(ipAddress)) {
            return Pair.of(ipAddress, UNKNOWN);
        }
        String province = null;
        try {
            log.info("Ip2Region获取归属地,IpAddress:{}", ipAddress);
            String search = searcher.search(ipAddress);
            if (!StringUtils.isEmpty(search)) {
                province = search.split(SPLIT_REG)[2];
            }
        } catch (Exception e) {
            logger.error("Ip2Region搜索:{}失败:{}", ipAddress, e);
        }
        return Pair.of(ipAddress, (province == null || province.equals("0")) ? UNKNOWN : province);
    }

    /**
     * 根据ip获取 国家或区域
     *
     * @param ipAddress
     * @return IP, 国家
     */
    public static Pair<String, String> getCountry(String ipAddress) {
        if (StringUtils.isEmpty(ipAddress)) {
            return Pair.of(ipAddress, UNKNOWN);
        }
        String cityInfo = null;
        try {
            String search = searcher.search(ipAddress);
            if (!StringUtils.isEmpty(search)) {
                cityInfo = search.split(SPLIT_REG)[0].equals("0") ? search.split(SPLIT_REG)[1] : search.split(SPLIT_REG)[0];
            }
        } catch (Exception e) {
            logger.error("Ip2Region搜索:{}失败:{}", ipAddress, e);
        }
        return Pair.of(ipAddress, (cityInfo == null || cityInfo.equals("0")) ? UNKNOWN : cityInfo);
    }

    /**
     * 根据ip2region解析ip地址
     *
     * @param ip ip地址
     * @return 解析后的ip地址信息
     * 美国|0|加利福尼亚|费利蒙|Hurricane-Electric
     * 中国|0|江西省|赣州市|移动
     * 国家|区域|省|市|运营商
     */
    public static String getIp2region(String ip) {

        if (searcher == null) {
            logger.error("Ip2Region Error:DbSearcher is null");
            return null;
        }

        try {
            String ipInfo = searcher.search(ip);
            if (!StringUtils.isEmpty(ipInfo)) {
                ipInfo = ipInfo.replace(" | 0", "");
                ipInfo = ipInfo.replace("0 |", "");
            }
            return ipInfo;
        } catch (Exception e) {
            e.printStackTrace();
        }
        return UNKNOWN;
    }

    /**
     * 获取IP地址
     *
     * @return 本地IP地址
     */
    public static String getHostIp() {
        try {
            return InetAddress.getLocalHost().getHostAddress();
        } catch (UnknownHostException e) {
        }
        return localIp;
    }

    /**
     * 获取主机名
     *
     * @return 本地主机名
     */
    public static String getHostName() {
        try {
            return InetAddress.getLocalHost().getHostName();
        } catch (UnknownHostException e) {
        }
        return "未知";
    }

}

继续思考尝试,发现文件是找到了且存在了的,searcher也是正常初始化了的,说明启动时ip2region.db是找到了的,那就是不是路径问题;那没办法了一点头绪没有了,只能借助神秘力量了,索性有相同踩坑人给我们留下了解决方案(感谢大佬,不然真的要吃粑粑了https://blog.csdn.net/u012190388/article/details/129391855
这谁能想到啊,maven给我过滤掉了,嘿按照博主的方法加上提交运行,完美解决

企业微信截图_1728611770852.png

过滤的配置代码片段

                <plugin>
                    <artifactId>maven-resources-plugin</artifactId>
                    <configuration>
                        <nonFilteredFileExtensions>
                            <nonFilteredFileExtension>xdb</nonFilteredFileExtension>
                        </nonFilteredFileExtensions>
                    </configuration>
                </plugin>
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 215,723评论 6 498
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,003评论 3 391
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 161,512评论 0 351
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,825评论 1 290
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,874评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,841评论 1 295
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,812评论 3 416
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,582评论 0 271
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,033评论 1 308
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,309评论 2 331
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,450评论 1 345
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,158评论 5 341
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,789评论 3 325
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,409评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,609评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,440评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,357评论 2 352

推荐阅读更多精彩内容