查看原文
其他

如何用 Docker 构建企业级 PyPi 服务?

Python猫 2022-04-12

The following article is from 岛哥的质量效能笔记 Author 岛哥

剧照:怒火·重案

作者:岛哥

来源:岛哥的质量效能笔记

背景

我们平常使用 pip 命令安装 Python 包时,默认是去 https://pypi.python.org/simple/ 源查找相应的包下载并安装的,但是在企业内网环境我们需要发布一些私有包提供给内部用户使用时,就需要搭建自己的 PyPI Server了。


PyPI Server 方案对比

下面是目前已知的一些部署私有仓库服务的方案


框架代理镜像本地缓存
搜索
devpiY
Y
支持 Web + XML RPC
DjangoPyPIYN支持 Web + XML RPC
chishopNN不支持
pypiserverYN不支持
Cheese ShopNN支持 Web + XML RPC
localshopYY只支持 XML RPC
mypypiNN不支持
proxypypiYY不支持
Flask-Pypi-ProxyYY不支持

介绍

devpi有一些特有的功能:

  • 支持本地缓存,可以做到公司内网加速的效果
  • 支持Sphinx文档
  • 提供多索引支持,多索引之间还可以继承,这在维护多版本系统上非常有用
  • 支持集群部署,支持一台或多台服务器部署实现访问加速
  • 支持通过 json 接口,实时监控集群的状态
  • 支持导入导出功能
  • 支持给索引设置 Jenkins 触发器,可以使用 tox 自动测试上传的包
  • 使用插件可以完成Web界面的访问控制,增加私有包的安全


容器化部署
这里介绍一下用容器的方式如何部署,首先我们这个容器中包括三个组件:
  • devpi-server 属于核心组件,提供镜像与缓存功能
  • devpi-web 提供Web界面和查询功能
  • devpi-lockdown 通过在nginx的帮助下实现对Web界面添加访问控制的功能


Dockerfile
FROM suadminwen/python3-ubuntu:latest
WORKDIR /root/
RUN pip install supervisorRUN mkdir /devpiRUN pip install devpi-server devpi-web devpi-lockdown \ && devpi-init \ && devpi-gen-config --host 0.0.0.0 --port 3141
RUN apt update \ && apt install nginx -y
COPY ./nginx-devpi.conf /etc/nginx/sites-enabled/defaultCOPY ./run.sh /root/
EXPOSE 31415EXPOSE 80 ENTRYPOINT ["bash", "run.sh"]

nginx-devpi.conf
server { server_name 0.0.0.0; listen 80; gzip on; gzip_min_length 2000; gzip_proxied any; gzip_types application/json;
proxy_read_timeout 60s; client_max_body_size 64M;
# set to where your devpi-server state is on the filesystem root /root/.devpi/server;
# this redirects to the login view when not logged in recursive_error_pages on; error_page 401 = @error401; location @error401 { return 302 /+login; }
# lock down everything by default auth_request /+authcheck;
location = /+login { auth_request off; proxy_set_header X-outside-url $scheme://$http_host; proxy_pass http://localhost:3141; }
location ~ /\+api$ { auth_request off; proxy_set_header X-outside-url $scheme://$http_host; proxy_pass http://localhost:3141; }
# try serving static files directly location ~ /\+f/ { auth_request off; # workaround to pass non-GET/HEAD requests through to the named location below error_page 418 = @proxy_to_app; if ($request_method !~ (GET)|(HEAD)) { return 418; }
expires max; try_files /+files$uri @proxy_to_app; } # try serving docs directly location ~ /\+doc/ { auth_request off; # if the --documentation-path option of devpi-web is used, # then the root must be set accordingly here root /root/.devpi/server; try_files $uri @proxy_to_app; } location / { # workaround to pass all requests to / through to the named location below error_page 418 = @proxy_to_app; return 418; } location @proxy_to_app { proxy_pass http://localhost:3141; proxy_set_header X-outside-url $scheme://$http_host; proxy_set_header X-Real-IP $remote_addr; }
location = /+authcheck { internal; proxy_pass_request_body off; proxy_set_header Content-Length ""; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-outside-url $scheme://$http_host; proxy_pass http://localhost:3141; }}

run.sh

echo -e 'start supervisord'/usr/local/bin/supervisord -c /root/gen-config/supervisord.conf
echo -e 'start nginx'nginx -g 'daemon off;'

docker-compose.yml

services: devpiserver: container_name: devpiserver build: context: . ports: - 80:80 - 31415:80 volumes:      - ~/.devpi:/root/.devpi

在准备好上述文件后,先在用户根目录执行下面的命令:

pip install devpi-serverdevpi init

然后在docker文件根目录执行下面的命令即可完成服务的启动:

docker-compose up -d


使用
安装依赖

本地的操作是需要使用devpi-client来完成的,执行下面的命令安装依赖:

pip install -U devpi-client

创建连接

devpi use http://devpi.xxxxx.com/

用户管理

默认的用户是root,密码是空

# 使用root账号登录devpi login root --password=# 修改root用户密码为qwedevpi user -m root password=qwe # 创建新用户dev并设定密码为qwedevpi user -c dev password=qwe# 新用户登录devpi login dev --password=qwe# 退出登录devpi logoff

索引管理

登录之后才可以进行索引操作

# 创建dev索引devpi index -c dev bases=root/pypi# 使用dev索引devpi use root/dev
# 当仓库中不存在包时,从豆瓣下载包缓存到本地(默认是从官方源 https://pypi.python.org/simple/ 下载)devpi index root/dev mirror_url = “https://pypi.doubanio.com/simple/"# devpi push 命令是将包从一个索引推送到另外一个索引,例如将包example推送到root/devdevpi push example==1.0 root/dev

上传私有包
上传包使用的是 devpi upload 命令,需要在 setup.py 文件所在目录下执行,这个命令有两个常用的参数:
  • --with-docs 参数,连带docs文件一块上传,支持 sphinx 创建的文档
  • --formats bdist_wheel 参数,上传wheel格式的包,需要安装wheel库, pip install wheel


devpi use http://pypi-xx.com/devpi login root --password=qwedevpi use root/devdevpi upload --formats bdist_wheeldevpi upload --with-docsdevpi upload

删除私有包

devpi remove exampledevpi remove example>=1.0.1

下载私有包

无访问限制:

pip install -i "http://[host]/root/dev/+simple/" [package] --trusted-host [host]

有访问限制:

pip install -i "http://[user]:[password]@[host]/root/dev/+simple/" [package] --trusted-host [host]

本地环境配置

无访问限制:

[global]timeout = 60index-url = http://pypi-xx.com/root/dev/+simple/[install]trusted-host = pypi-xx.com

有访问限制:

[global]timeout = 60index-url = http://[user]:[password]@[host]/root/dev/+simple/[install]trusted-host = pypi-xx.com

devpi服务器迁移

如果想要前移服务器的文件,首先需要找到devpi服务器数据所在地址,进入server目录中找到 '+ files' 目录拷贝出来,然后使用下面命令把已有的私有包导入新的服务中:

devpi upload --from-dir '+files' 

效果图

Python猫技术交流群开放啦!群里既有国内一二线大厂在职员工,也有国内外高校在读学生,既有十多年码龄的编程老鸟,也有中小学刚刚入门的新人,学习氛围良好!想入群的同学,请在公号内回复『交流群』,获取猫哥的微信(谢绝广告党,非诚勿扰!)~


还不过瘾?试试它们




▲ Python 编程语言的核心是什么?

▲ 2021年,你应该知道的Python打包指南

▲ 有关单元测试的 5 个建议

▲ 任务队列神器:Celery 入门到进阶指南

▲ Python 设计和历史的 27 个问题

▲ Python 中 Redis 库分布式锁简单分析


如果你觉得本文有帮助
请慷慨分享点赞,感谢啦

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存