tableau-to-sqlite

将 Tableau 中的数据抓取到 SQLite 数据库中。是 TableauScraper 的一个封装。

安装

使用 pip 安装此工具

$ pip install tableau-to-sqlite

如果您有 Tableau 仪表盘的 URL，例如：

您可以将其直接传递给该工具

tableau-to-sqlite tableau.db \
  https://results.mo.gov/t/COVID19/views/VaccinationsDashboard/Vaccinations

这将创建一个名为 tableau.db 的 SQLite 数据库，其中包含该仪表盘中每个工作表对应的一个表。

如果仪表盘托管在 https://public.tableau.com/，您可以改为提供视图名称。这将是两个由 / 符号分隔的字符串，例如：

OregonCOVID-19VaccineProviderEnrollment/COVID-19VaccineProviderEnrollment

现在像这样运行该工具

tableau-to-sqlite tableau.db \
    OregonCOVID-19VaccineProviderEnrollment/COVID-19VaccineProviderEnrollment

如果您正在构建一个 git scraper，您可能希望将此工具收集到的数据转换为 CSV 或 JSON 并提交到您的仓库。

您可以使用 sqlite-utils 来做到这一点。使用 pip 安装它

pip install sqlite-utils

您可以将表导出为 JSON，如下所示

sqlite-utils rows tableau.db \
   'Admin Site and County Map Site No Info' > tableau.json

或导出为 CSV，如下所示

sqlite-utils rows tableau.db --csv \
   'Admin Site and County Map Site No Info' > tableau.csv

要为此工具做贡献，首先克隆代码。然后创建一个新的虚拟环境

cd tableau-to-sqlite
python -mvenv venv
source venv/bin/activate

或者如果您使用 pipenv

pipenv shell

现在安装依赖和测试

pip install -e '.[test]'

运行测试

pytest