RepositoryManager源码分析

RepositoryManager类

RepositoryManager类负责对RepositoryProvider进行管理, 主要的功能为从配置文件中
“server/conf/sqoop.properties”读取RepositoryProvider的配置信息,并对RepositoryProvider进行实例化。在配置信息发生变动时,更新RepositoryProvider的信息。
RepositoryManager的初始化源代码如下:

public synchronized void initialize(boolean immutableRepository) {
        MapContext context = SqoopConfiguration.getInstance().getContext();
        Map repoSysProps = context.getNestedProperties("org.apache.sqoop.repository.sysprop.");
        LOG.info("Setting system properties: " + repoSysProps);
        Iterator repoProviderClassName = repoSysProps.entrySet().iterator();

        while(repoProviderClassName.hasNext()) {
            Entry repoProviderClass = (Entry)repoProviderClassName.next();
            System.setProperty((String)repoProviderClass.getKey(), (String)repoProviderClass.getValue());
        }

        String repoProviderClassName1 = context.getString("org.apache.sqoop.repository.provider");
        if(repoProviderClassName1 != null && repoProviderClassName1.trim().length() != 0) {
            if(LOG.isTraceEnabled()) {
                LOG.trace("Repository provider: " + repoProviderClassName1);
            }

            Class repoProviderClass1 = ClassUtils.loadClass(repoProviderClassName1);
            if(repoProviderClass1 == null) {
                throw new SqoopException(RepositoryError.REPO_0001, repoProviderClassName1);
            } else {
                try {
                    this.provider = (RepositoryProvider)repoProviderClass1.newInstance();
                } catch (Exception var7) {
                    throw new SqoopException(RepositoryError.REPO_0001, repoProviderClassName1, var7);
                }

                this.provider.initialize(context);
                if(!immutableRepository) {
                    LOG.info("Creating or updating respository at bootup");
                    this.provider.getRepository().createOrUpgradeRepository();
                }

                if(!this.provider.getRepository().isRepositorySuitableForUse()) {
                    throw new SqoopException(RepositoryError.REPO_0002);
                } else {
                    SqoopConfiguration.getInstance().getProvider().registerListener(new CoreConfigurationListener(this));
                    LOG.info("Repository Manager initialized: OK");
                }
            }
        } else {
            throw new SqoopException(RepositoryError.REPO_0001, "org.apache.sqoop.repository.provider");
        }
    }

RepositoryProvider类

RepositoryProvider类用于获取配置信息(上下文环境), repository信息。
系统中的一个实现是:JdbcRepositoryProvider类。
JdbcRepositoryProvider类包含了配置信息(JdbcRepositoryContext),Repository信息(JdbcRepository ),以及用于处理事物的类(JdbcRepositoryHandler)。
其中主要包含了初始化handler的方法:

private void initializeRepositoryHandler() {
        String jdbcHandlerClassName = this.repoContext.getHandlerClassName();
        Class handlerClass = ClassUtils.loadClass(jdbcHandlerClassName);
        if(handlerClass == null) {
            throw new SqoopException(RepositoryError.JDBCREPO_0001, jdbcHandlerClassName);
        } else {
            try {
                this.handler = (JdbcRepositoryHandler)handlerClass.newInstance();
            } catch (Exception var9) {
                throw new SqoopException(RepositoryError.JDBCREPO_0001, jdbcHandlerClassName, var9);
            }

            String connectUrl = this.repoContext.getConnectionUrl();
            if(connectUrl != null && connectUrl.trim().length() != 0) {
                String jdbcDriverClassName = this.repoContext.getDriverClass();
                if(jdbcDriverClassName != null && jdbcDriverClassName.trim().length() != 0) {
                    Class driverClass = ClassUtils.loadClass(jdbcDriverClassName);
                    if(driverClass == null) {
                        throw new SqoopException(RepositoryError.JDBCREPO_0003, jdbcDriverClassName);
                    } else {
                        try {
                            this.driver = (Driver)driverClass.newInstance();
                        } catch (Exception var8) {
                            throw new SqoopException(RepositoryError.JDBCREPO_0003, jdbcDriverClassName, var8);
                        }

                        Properties jdbcProps = this.repoContext.getConnectionProperties();
                        DriverManagerConnectionFactory connFactory = new DriverManagerConnectionFactory(connectUrl, jdbcProps);
                        this.connectionPool = new GenericObjectPool();
                        this.connectionPool.setMaxActive(this.repoContext.getMaximumConnections());
                        this.statementPool = new GenericKeyedObjectPoolFactory((KeyedPoolableObjectFactory)null);
                        new PoolableConnectionFactory(connFactory, this.connectionPool, this.statementPool, this.handler.validationQuery(), false, false, this.repoContext.getTransactionIsolation().getCode());
                        this.dataSource = new PoolingDataSource(this.connectionPool);
                        this.txFactory = new JdbcRepositoryTransactionFactory(this.dataSource);
                        this.repoContext.initialize(this.dataSource, this.txFactory);
                        this.handler.initialize(this.repoContext);
                        this.repository = new JdbcRepository(this.handler, this.repoContext);
                        LOG.info("JdbcRepositoryProvider initialized");
                    }
                } else {
                    throw new SqoopException(RepositoryError.JDBCREPO_0003);
                }
            } else {
                throw new SqoopException(RepositoryError.JDBCREPO_0002);
            }
        }
    }

JdbcRepository类

JdbcRepository类代表了可以使用jdbc方式进行连接的reposity。其包含了两个对象

  private final JdbcRepositoryHandler handler;
    private final JdbcRepositoryContext repoContext;

其中JdbcRepositoryContext代表相关的配置信息,JdbcRepositoryHandler用于处理事务(这里采用了代理的设计模式)。

JdbcRepositoryContext类

JdbcRepositoryContext类从配置文件中(server/conf/sqoopproperties)读取配置信息。包括driver,userName, passwaord等。

JdbcRepositoryHandler抽象类

JdbcRepositoryHandler是真正实现各种事物处理的类,事物包括查询connector, link ,创建connector, link, 等。
系统中实现的JdbcRepositoryHandler类的有CommonRepositoryHandler类。
CommonRepositoryHandler利用sql查询语句从数据库中查询结果,并返回给用户。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 215,794评论 6 498
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,050评论 3 391
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 161,587评论 0 351
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,861评论 1 290
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,901评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,898评论 1 295
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,832评论 3 416
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,617评论 0 271
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,077评论 1 308
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,349评论 2 331
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,483评论 1 345
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,199评论 5 341
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,824评论 3 325
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,442评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,632评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,474评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,393评论 2 352

推荐阅读更多精彩内容

  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 134,649评论 18 139
  • Spring Boot 参考指南 介绍 转载自:https://www.gitbook.com/book/qbgb...
    毛宇鹏阅读 46,801评论 6 342
  • 从三月份找实习到现在,面了一些公司,挂了不少,但最终还是拿到小米、百度、阿里、京东、新浪、CVTE、乐视家的研发岗...
    时芥蓝阅读 42,235评论 11 349
  • 国家电网公司企业标准(Q/GDW)- 面向对象的用电信息数据交换协议 - 报批稿:20170802 前言: 排版 ...
    庭说阅读 10,950评论 6 13
  • 虽然所爱隔山海,山海不可平。 但它还有下一句:海有舟可渡,山有路可行,此爱翻山海,山海俱可平。
    木头啊丶阅读 90评论 0 0