工具 > pypi-to-sqlite

pypi-to-sqlite 作者 simonw

星标

README 源代码

pypi-to-sqlite

PyPI Changelog Tests License

将关于 Python 包的数据从 PyPI 加载到 SQLite 中

安装

使用 pip 安装此工具

pip install pypi-to-sqlite

使用方法

要创建一个包含一个或多个包详细信息的 SQLite 数据库，请运行

pypi-to-sqlite pypi.db datasette sqlite-utils

您还可以处理之前已保存到磁盘的 JSON，如下所示

curl -o datasette.json https://pypi.ac.cn/pypi/datasette/json
pypi-to-sqlite pypi.db -f datasette.json

此工具将创建三个表：packages、versions 和 releases。完整的表结构如下所示。

要创建带前缀的表，请使用 --prefix prefix。例如

pypi-to-sqlite pypi.db datasette --prefix pypi_

这将创建名为 pypi_packages、pypi_versions 和 pypi_releases 的表。

演示

您可以在此处查看在 Datasette 中运行的使用此工具创建的表示例

数据库结构

CREATE TABLE [packages] (
   [name] TEXT PRIMARY KEY,
   [summary] TEXT,
   [classifiers] TEXT,
   [description] TEXT,
   [author] TEXT,
   [author_email] TEXT,
   [description_content_type] TEXT,
   [home_page] TEXT,
   [keywords] TEXT,
   [license] TEXT,
   [maintainer] TEXT,
   [maintainer_email] TEXT,
   [package_url] TEXT,
   [platform] TEXT,
   [project_url] TEXT,
   [project_urls] TEXT,
   [release_url] TEXT,
   [requires_dist] TEXT,
   [requires_python] TEXT,
   [version] TEXT,
   [yanked] INTEGER,
   [yanked_reason] TEXT
);
CREATE TABLE [versions] (
   [id] TEXT PRIMARY KEY,
   [package] TEXT REFERENCES [packages]([name]),
   [name] TEXT
);
CREATE TABLE [releases] (
   [md5_digest] TEXT PRIMARY KEY,
   [package] TEXT REFERENCES [packages]([name]),
   [version] TEXT REFERENCES [versions]([id]),
   [packagetype] TEXT,
   [filename] TEXT,
   [comment_text] TEXT,
   [digests] TEXT,
   [has_sig] INTEGER,
   [python_version] TEXT,
   [requires_python] TEXT,
   [size] INTEGER,
   [upload_time] TEXT,
   [upload_time_iso_8601] TEXT,
   [url] TEXT,
   [yanked] INTEGER,
   [yanked_reason] TEXT
);

pypi-to-sqlite --help

Usage: pypi-to-sqlite [OPTIONS] DB_PATH [PACKAGE]...

  Load data about Python packages from PyPI into SQLite

  Usage example:

      pypi-to-sqlite pypy.db datasette sqlite-utils

  Use -f to load data from a JSON file instead:

      pypi-to-sqlite pypy.db -f datasette.json

  Created tables will be packages, versions and releases

  To create tables called pypi_packages, pypi_versions, pypi_releases use
  --prefix pypi_:

      pypi-to-sqlite pypy.db datasette sqlite-utils --prefix pypi_

Options:
  --version            Show the version and exit.
  -f, --file FILENAME  Import JSON from this file
  -d, --delay FLOAT    Wait this many seconds between requests
  --prefix TEXT        Prefix to use for the created database tables
  --help               Show this message and exit.

开发

要为此工具做贡献，请首先签出代码。然后创建一个新的虚拟环境

cd pypi-to-sqlite
python -m venv venv
source venv/bin/activate

现在安装依赖项和测试依赖项

pip install -e '.[test]'

要运行测试

pytest