common crawl

https://writerhavenx.com/s/CsOIETav6kIMFZeqFwmyy

Common Crawl — это некоммерческий проект, который хранит и предоставляет доступ к огромному архиву веб-страниц. Представьте себе библиотеку, где собрано не книг, а целые сайты, тексты и ссылки с начала 2010-х годов. Данные можно скачать бесплатно, что делает их золотой жилой для исследователей и разработчиков, обучающих языковые модели. Но будьте готовы: архив не отсортирован, много мусора, искать нужно уметь. Тем не менее, это один из самых открытых источников интернет-данных.