痛点
- 有时候执行npm install命令安装某些模块的时候,特别慢,经常安装失败
- 公司内部的模块如何维护?
我们需要一个能够让公司内部模块稳定维护的私有仓储,而且这个仓储还能够稳定的提供通过npm install获取的安装包,那么cnpm来了~
CNPM是什么
CNPM是一个私有的Nodejs库,使用CNPM 有如下理由:
确保npm服务快速、稳定:对于企业来说,上线生产系统的时候,需要花半小时甚至更久等待npm模块依赖安装完毕,是不可接受的。部署镜像后,可以确保高速、稳定的npm服务。
发布私有模块:官方的npm上的模块全部是开源的。一些与企业业务逻辑相关的模块可能不适合开源。这部分私有的模块放在私有NPM仓库中,使用起来各种方便。
控制npm模块质量和安全:npm上的模块质量参差不齐,搭建私有仓库,可以更严格地控制模块的质量和安全,只有经过审核的模块才允许被加入私有仓库。
使用MySQL替换了CouchDB,更容易部署。同时由于大部分开发者更熟悉MySQL,因此架设起来更方便。
部署简单:只需要五分钟
从CNPM的架构图中,我们可以看出CNPM是对NPM做的镜像服务,CNPM会定期同步NPM的资源库,同时CNPM支持发布私有的库,这样就非常方便地集成了公有库和私有库,对于公司内部的开发者来说,基本感觉不到两种库的区别。
搭建CNPM服务
从官方文档中,我们看到CNPM服务器环境,只需要Node(0.11.12) + MySQL(>= 0.5.0),另外我们还需要Linux的环境,接下来就让我们动手自己搭建一个私有NPM的服务器
-
准备:
Linux 操作系统,如 Ubuntu 12.04.5 LTS Node: v6.0.0 Npm: 3.8.6 数据库 ,如 MySQL: 5.5.40 Git客户端
-
从github下载项目源代码,安装项目依赖
git clone https://github.com/cnpm/cnpmjs.org.git cd cnpmjs.org npm install
-
在config目录下新建一个config.js 文件,可以参考官方推荐的一些配置
下面列出一些常用的配置说明
- enableCluster:是否启用 cluster-worker 模式启动服务,默认 false,生产环节推荐为 true;
- registryPort:API 专用的 registry 服务端口,默认 7001;
- webPort:Web 服务端口,默认 7002;
- bindingHost:监听绑定的 Host,默认为 127.0.0.1,如果外面架了一层本地的 Nginx 反向代理或者 Apache 反向代理的话推荐不用改;
- sessionSecret:session 用的盐;
- logdir:日志目录;
- uploadDir:临时上传文件目录;
- viewCache:视图模板缓存是否开启,默认为 false;
- enableCompress:是否开启 gzip 压缩,默认为 false;
- admins:管理员们,这是一个 JSON Object,对应各键名为各管理员的用户名,键值为其邮箱,默认为 { fengmk2: 'fengmk2@gmail.com', admin: 'admin@cnpmjs.org', dead_horse: 'dead_horse@qq.com' };
- logoURL:Logo 地址,不过对于我这个已经把 CNPM 前端改得面目全非的人来说已经忽略了这个配置了;
- adBanner:广告 Banner 的地址;
- customReadmeFile:实际上我们看到的 cnpmjs.org 首页中间一大堆冗长的介绍是一个 Markdown 文件转化而成的,你可以设置该项来自行替换这个文件;
- customFooter:自定义页脚模板;
- npmClientName:默认为 cnpm,如果你有自己开发或者 fork 的 npm 客户端的话请改成自己的 CLI 命令,这个应该会在一些页面的说明处替换成你所写的;
- backupFilePrefix:备份目录;
- database:数据库相关配置,为一个对象,默认如果不配置将会是一个 ~/.cnpmjs.org/data.sqlite 的 SQLite;
- db:数据的库名;
- username:数据库用户名;
- password:数据库密码;
- dialect:数据库适配器,可选 "mysql"、"sqlite"、"postgres"、"mariadb",默认为 "sqlite";
- hsot:数据库地址;
- port:数据库端口;
- pool:数据库连接池相关配置,为一个对象;
- maxConnections:最大连接数,默认为 10;
- minConnections:最小连接数,默认为 0;
- maxIdleTime:单条链接最大空闲时间,默认为 30000 毫秒;
- storege:仅对 SQLite 配置有效,数据库地址,默认为 ~/.cnpmjs/data.sqlite;
- nfs:包文件系统处理对象,为一个 Node.js 对象,默认是 fs-cnpm 这个包,并且配置在 ~/.cnpmjs/nfs 目录下,也就是说默认所有同步的包都会被放在这个目录下;开发者可以使用别的一些文件系统插件(如上传到又拍云等),又或者自己去按接口开发一个逻辑层,这些都是后话了;
- registryHost:暂时还未试过,我猜是用于 Web 页面显示用的,默认为 r.cnpmjs.org;
- enablePrivate:是否开启私有模式,默认为 false;
如果是私有模式则只有管理员能发布包,其它人只能从源站同步包;
如果是非私有模式则所有登录用户都能发布包; - scopes:非管理员发布包的时候只能用以 scopes 里面列举的命名空间为前缀来发布,如果没设置则无法发布,也就是说这是一个必填项,默认为 [ '@cnpm', '@cnpmtest', '@cnpm-test' ],据苏千大大解释是为了便于管理以及让公司的员工自觉按需发布;更多关于 NPM scope 的说明请参见 npm-scope;
- privatePackages:就如该配置项的注释所述,出于历史包袱的原因,有些已经存在的私有包(可能之前是用 Git 的方式安装的)并没有以命名空间的形式来命名,而这种包本来是无法上传到 CNPM 的,这个配置项数组就是用来加这些例外白名单的,默认为一个空数组;
- sourceNpmRegistry:更新源 NPM 的 registry 地址,默认为 https://registry.npm.taobao.org;
- sourceNpmRegistryIsCNpm:源 registry 是否为 CNPM,默认为 true,如果你使用的源是官方 NPM 源,请将其设为 false;
- syncByInstall:如果安装包的时候发现包不存在,则尝试从更新源同步,默认为 true;
- syncModel:更新模式(不过我觉得是个 typo),有下面几种模式可以选择,默认为 "none";
- "none":永不同步,只管理私有用户上传的包,其它源包会直接从源站获取;
- "exist":定时同步已经存在于数据库的包;
- "all":定时同步所有源站的包;
- syncInterval:同步间隔,默认为 "10m" 即十分钟;
- syncDevDependencies:是否同步每个包里面的 devDependencies 包们,默认为 false;
- badgeSubject:包的 badge 显示的名字,默认为 cnpm;
- userService:用户验证接口,默认为 null,即无用户相关功能也就是无法有用户去上传包,该部分需要自己实现接口功能并配置,如与公司的 Gitlab 相对接,这也是后话了;
- alwaysAuth:是否始终需要用户验证,即便是 $ cnpm install 等命令;
- httpProxy:代理地址设置,用于你在墙内源站在墙外的情况。
阅读了上面的配置,你可能会编写一份如下的配置文件
module.exports = { debug: false, enableCluster: true, // enable cluster mode mysqlServers: [ { host: 'localhost', port: 3306, user: 'root', password: 'xxxxxx', } ], mysqlDatabase: 'cnpmjs', enablePrivate: true, // enable private mode, only admin can publish, other use just can sync package from source npm admins: { admin: 'example@example.com', }, scopes:['@IModules'], syncModel: 'exist'// 'none', 'all', 'exist' };
-
创建并初始化MySQL数据库
$ mysql -u yourname -p mysql> use cnpmjs; mysql> source docs/db.sql
-
启动CNPM服务器,默认会打开两个端口,7001用于NPM的注册服务,7002用于Web访问。
node --harmony_generators dispatch.js
或者
npm run start
npm run dev:调试模式启动;
npm run test:跑测试;
npm run start:启动 CNPM;
npm run status:查看 CNPM 启动状态;
npm run stop:停止 CNPM。 -
浏览器访问CNPM私有仓库
127.0.0.1:7002
终于正常了,这样就成功搭建了私有的NPM注册服务。
配置npm源为公司内部仓库
-
配置npm 源为公司私有仓库
npm config set registry http://cnpm.xxx.cn/ #这个是将上文IP映射的域名
-
查看是否操作成功
npm config ls
执行命令,来安装一个私有库(后面的文章会创建)
npm install --save @IModules/IUtils@0.2.0-snapshot
载的时候指定我们自己的私有库,这样就会从我们自己的私有库中下载。如果私有库没有对应的库,CNPM会自动同步到NPM 找到我们要下载的库和版本,先在CNPM中存一份,然后再传给客户端一份,运行原理和Maven的原理一样。
或者使用如下命令,临时安装 npm install winston --registry=http://127.0.0.1:7002
工具库
私有仓储建立起来了,后面就开始动手建立上文中提到的IUtils库并发布到私有仓储
这里我提供一份支持发布的私有库文件,具体的请参考这里