Data Pipelines in Big Data Analytics – Fallbeispiel Religion in der US Politik

Am Anfang jeder Datenanalyse steht die Beschaffung und Aufbereitung der Daten in ein Format, welches fur statistische Verfahren geeignet ist. Mit dem starken Zuwachs an digitalen Datenbestanden und der Vielfalt an digitalen Datenquellen und der damit verbundenen Vielfalt an hochdimensionalen Datenstrukturen ist dieser erste Teil einer Datenanalyse herausfordernder geworden. Die saubere Planung und Implementierung von Data Pipelines hilft in der Praxis mit diesen Herausforderungen umzugehen. Wahrend Data Pipelines heutzutage im Data Engineering die Grundlage vieler Datenanwendungen sind, ist das Konzept in der wirtschafts- und sozialwissenschaftlichen Forschung noch wenig verbreitet. Dieser Beitrag diskutiert das Potenzial von Data Pipelines fur die angewandte empirische Forschung mit dem Fokus auf die sozialwissenschaftliche Datenanalyse (im Kontrast zur Datenapplikationsentwicklung) basierend auf Big Data aus dem programmable Web. Anhand eines Fallbeispiels mit Daten aus der US Politik wird das Data Pipeline Konzept fur Big Data Analytics in der wirtschafts- und sozialwissenschaftlichen Forschung Schritt fur Schritt aufgezeigt.