GitHub

数据来源

OpenDigger 使用 GHArchive 作为数据源，采集 GitHub 全域日志数据并使用 ClickHouse 云服务作为数据服务基础设施。

数据采集、清洗与入库的相关代码目前并未开源至 OpenDigger 项目，作为定时任务每小时运行并导入数据到数据库。

数据缺失

由于 GHArchive 可能存在服务不可用的情况，所以 OpenDigger 的 GitHub 数据源存在部分数据缺失的情况，目前缺失的数据时段如下：

• 2016-10-21-18
• 2018-10-21-23
• 2018-10-22-0 ~ 2018-10-22-1
• 2019-05-08-12 ~ 2019-05-08-13
• 2019-09-12-8 ~ 2019-09-13-5
• 2020-03-05-22
• 2020-06-10-12 ~ 2020-06-10-21
• 2020-08-21-9 ~ 2020-08-23-15
• 2020-10-30-17
• 2021-08-25-17 ~ 2021-08-27-22
• 2021-09-11-9
• 2021-10-22-5 ~ 2021-10-22-22
• 2021-10-23-2 ~ 2021-10-23-22
• 2021-10-24-3 ~ 2021-10-24-22
• 2021-10-25-1 ~ 2021-10-25-22
• 2021-10-26-0 ~ 2021-10-29-17
• 2023-05-14-19