Вы когда-нибудь искали исторические данные по курсам валют, таким как доллар к афгани? Оказалось, что большинство финансовых данных сосредоточено вокруг 20% основных валют, а информация по экзотическим парам зачастую недоступна. Мы столкнулись с необходимостью собрать данные по 287 валютным парам за 20 лет для проекта AbsCur3 и решили эту задачу, используя Python, GitHub Actions и API Twelve Data.
В ходе работы мы выбрали оптимальный источник данных, автоматизировали загрузку и проверку качества, а также опубликовали результаты на GitHub. Мы реализовали Rate Limiting и чанкование, чтобы обойти ограничения API. В итоге мы собрали более миллиона строк данных, которые теперь доступны в виде CSV файлов.
Наш проект показывает, как можно создать значимый ресурс, используя только бесплатные инструменты, что открывает новые возможности для исследований и алгоритмической торговли.