创建一个包含从 Hacker News 获取的数据的 SQLite 数据库。
$ pip install hacker-news-to-sqlite
$ hacker-news-to-sqlite user hacker-news.db your-username
Importing items: 37%|███████████ | 845/2297 [05:09<11:02, 2.19it/s]
将您所有的 Hacker News 提交和评论导入到名为 hacker-news.db 的 SQLite 数据库中。
$ hacker-news-to-sqlite trees hacker-news.db 22640038 22643218
获取出现这些内容 ID 的整个评论树。
您可以使用 Datasette 浏览您的数据。像这样安装 Datasette
$ pip install datasette
现在像这样针对您的 hacker-news.db 文件运行它
$ datasette hacker-news.db
访问 https://localhost:8001/ 来搜索和探索您的数据。
您可以使用 datasette-render-timestamps 和 datasette-render-html 插件来改进您数据的显示效果。像这样安装它们
$ pip install datasette-render-timestamps datasette-render-html
现在将以下配置保存在名为 metadata.json 的文件中
{
"databases": {
"hacker-news": {
"tables": {
"items": {
"plugins": {
"datasette-render-html": {
"columns": [
"text"
]
},
"datasette-render-timestamps": {
"columns": [
"time"
]
}
}
},
"users": {
"plugins": {
"datasette-render-timestamps": {
"columns": [
"created"
]
}
}
}
}
}
}
}像这样运行 Datasette
$ datasette -m metadata.json hacker-news.db
时间戳列现在将显示为人类可读的日期，并且您帖子中的任何 HTML 都将显示为渲染后的 HTML。