Hero for 데이터 분석 산업 지형
· Technology · 5 분 읽기
한국어

데이터 분석 산업 지형

주요 정보

최근에 데이터 파이프라인 산업에 대한 분석을 정리해야 했고, 이를 공유해야겠다고 생각했습니다. 살펴보겠습니다:

  1. 시장 개요,
  2. 위험,
  3. 각 단계에서 참여하는 기업들

1. 시장 개요

데이터 파이프라인 산업의 TAM은 > 1,000억 달러에 달하며, 일부 기업만 해도 그 가치에 근접합니다 1. 데이터 파이프라인이 광범위한 분야이기 때문에, 데이터 분석과 더 관련된 분야로 논의를 제한하겠습니다. 상장과 비상장 기업이 데이터를 사용하는 조직의 기술 스택에 맞추기 위해 경쟁하고 있으며, 이는 오늘날 거의 모든 대형 기업에 해당합니다 2.

고객 또는 공급자에서 생성된 상호작용의 데이터 흐름이 원시 거래 처리로 이어집니다 데이터베이스. 그 후 데이터는 **이동 **그리고 변모 분석 데이터 웨어하우스에 적합한 모델로 전환할 수 있습니다. 그 후 분석가들은 관심 있는 데이터를 쿼리할 수 있습니다 분석. 최종 사용자에게는 결과를 사용합니다 데이터 시각화 비즈니스 지표에 대해 말이다.

굵게 표시된 이 모든 프로세스는 소프트웨어 개발이나 구현 컨설팅에 특화된 회사들입니다. 대부분의 신생 기업들은 클라우드 기반(일부는 온프레미스 포함)이며, Amazon Web Services(AWS)와 같은 서비스 제공업체 위에 위치해 있습니다 3확장성, 유연성, 절약성을 활용해 고마진을 달성하는 기업을 구축하는 것입니다.

데이터 생성 성장률과 관련 매출(전년 대비 >20%)을 고려할 때, 이 분야의 대부분의 스타트업은 비대칭적인 위험/수익률과 입증된 높은 엑시트 배수를 가진 흥미로운 투자 기회입니다. 스타트업 산업이 성장할 것이라고 믿는다면, 이를 뒷받침하는 데이터 파이프라인 산업도 믿어야 합니다.

2. 위험

  • 보안 (95% 확률) - 큰 이익은 불법 데이터를 획득하는 악의적 행위자에게 높은 보상을 의미합니다 4. 보안 비용이 오르면(실제로 오를 것이고), 이는 사업 마진에 악영향을 미칠 것입니다
  • 데이터 프라이버시 규제(70%) - 이는 준수 비용을 증가시켜 기존 기업에 도움이 되고 스타트업에 타격을 줍니다
  • 상류 마진 압력 (30%) - 데이터 스택의 특정 계층에서 산업 통합이 더 심해진다면, 해당 기업들이 대안이 없는 기업들의 마진을 압박할 수 있습니다 5

3. 지형

사용자가 볼 수 있는 것부터 시작하겠습니다. 시각화 끝. 분석가가 이미 원하는 구조로 정리된 데이터를 갖추었을 때, 그 정보를 정리해야 합니다. 이는 보통 그래프와 표가 포함된 대시보드 형태를 취합니다. 이 분야의 도구로는 Tableau, Looker, Google Data Studio, R Shiny(브라우저 기반의 사용자 친화적 대시보드), Streamlit(인터랙티브 데이터 앱), 심지어 Google Sheets 등이 있습니다.

여기서 도구를 선택할 때의 절충점은 사용자의 기술적 역량과 데이터의 복잡성입니다. 조직에 같은 프로젝트에 협업하고 싶어 하는 사용자가 많다면, Sheets 같은 간단한 도구도 적합합니다. 사용자 수와 기능 요청이 적다면, 대시보드 소프트웨어로 더 큰 부하를 처리할 수 있는 도구를 만드는 것이 의미가 있을 수 있습니다.

시각화 전에 분석가는…데이터를 분석하세요. 이들은 쿼리 언어로 구조화된 데이터베이스에서 데이터를 쿼리하여 쿼리합니다. 예를 들어 Presto(지연 시간 저, 처리량 낮음)나 Hive(지연 시간 많음, 처리량 높음) 같은 방식일 수 있습니다.

이 계산들은 Snowflake, Redshift, BigQuery, Azure 같은 데이터 웨어하우스 계층에서 수행됩니다. 점점 인기를 얻고 있는 것은 클라우드 기반이며, 일부는 컴퓨트와 스토리지 사용량을 별도로 확장하고 청구할 수 있게 해줍니다. 데이터 웨어하우스는 데이터베이스보다 분석에 더 적합할 수 있고, 데이터베이스는 데이터 저장에 더 적합할 수 있습니다.

여기서 트레이드오프는 가격, 확장성, 지원 측면에서 따릅니다. 예를 들어, 처음에는 오픈소스 Postgres를 사용하다가, 회사가 Postgres가 적합할 수 있는 규모를 넘어 확장하고 기술적인 버그가 많아지면 결국 Snowflake로 전환할 수 있습니다.

그 데이터를 창고로 전달하기 위해 다음과 같은 방법이 있습니다 데이터 이동 그리고 **데이터 모델링 **레이어. Stitch, Fivetran, Segment, Airbyte와 같은 회사들은 원시 소스에서 데이터를 끌어와(곧 다루겠습니다) 데이터베이스에 입력하여 쿼리할 수 있도록 도와줍니다. 데이터 이동기는 일반적으로 Extract, Load, Transform(ELT), Extract, Transform, Load(ETL) 또는 그 조합의 일부 조합으로 알려져 있습니다.

dbt, Matillion, Looker 같은 데이터 모델러는 원시 데이터를 웨어하우스가 요구하는 구조에 매핑할 수 있게 해줍니다. 예를 들어, dbt는 통합 개발 환경(IDE)에서 데이터를 변환하고, 변환 작업을 일정화하며, 데이터 상태를 문서화할 수 있게 해줍니다.

여기서 단점은 일반적인 가격, 복잡성, 그리고 기타 기술적 특징들입니다. 예를 들어, Fivetran은 통합이 더 많은 반면 Stitch는 적은 것으로 알고 있습니다. 데이터 이동 도구의 선택도 데이터 모델링 도구에 영향을 줄 수 있는데, 이를 데이터를 두 번 변환하지 않아도 된다고 생각할 수 있습니다.

이 모든 데이터는 고객과 공급업체 간의 원시 상호작용에서 나옵니다 출처 데이터. 여기에는 세일즈포스, 젠데스크, 허브스팟(CRM) 같은 소프트웨어 도구가 포함됩니다. 이들은 모두 서로 다른 회사이기 때문에 데이터 형식도 다릅니다 - 국가별로 다른 통화라고 생각하면 됩니다. 그래서 앞서 언급한 데이터 이동과 데이터 모델링 계층이 필요합니다.

원본 데이터는 Postgres, MongoDB 같은 데이터베이스에 저장되어 있을 가능성이 큽니다 6또는 고통을 싫어한다면 오라클도 가능합니다. 데이터 웨어하우스와 달리, 이 데이터베이스들은 실시간으로 생성된 상호작용 데이터를 저장하는 데 더 뛰어납니다; 쓰기는 빠르고, 읽기는 느립니다.

모든 것을 종합해 보면:

post

폴 튠, 재귀 센터 참가자인 셰이 마티스 에리슨, 오리 딘 번스타인, 미켈 폴슨, 스티븐 리, 라이언 프라이어, 루크 바로네-아데시, 치라그 다베, 네이선 골드바움, 그리고 Locally Optimistic 멤버인 제이콥 매트슨, 아르핏 초드후리, 고든 웡, 케빈 후, 잇토 코르네키에게 감사드립니다.

Footnotes

  1. 분석에 TAM을 제공해야 했는데, 제 생각에는 보통 조작된 숫자입니다. 어쨌든 제 기준은 다음과 같습니다: Snowflake(SNOW)만 해도 2억 달러 회수에 대해 700억 달러 상한선을 기록하고 있습니다. 데이터 시각화 회수액은 100억 달러, 데이터 분석 회액은 400억 달러, 데이터 웨어하우징은 200억 달러, ELT/ETL 100억 달러, 데이터베이스는 업계 보도자료당 500억 달러입니다 ↩

  2. 일정 규모를 넘으면 무료 개인 요금제 스프레드시트 소프트웨어에 데이터를 저장하는 것이 더 이상 현실적이지 않습니다 ↩

  3. AWS는 100억 달러 규모의 리바이로 수천억 달러 가치가 있을 가능성이 큽니다; 간단히 하기 위해 AWS와 다른 주요 제공업체들은 분석에서 제외했습니다 ↩

  4. 그 데이터는 온라인에서 판매되거나, 사기에 사용되거나, 몸값을 요구할 수 있습니다. 대부분의 회사에서는 해킹 여부가 아니라 언제 해킹당하느냐의 문제입니다. ↩

  5. 대부분의 층에서 경쟁이 심한 점을 고려할 때, 전체적으로 인플레이션보다는 비용 디플레이션이 일어났습니다 ↩

  6. Paul Tune이 지적했듯이, 관계형 데이터베이스(Postgres, MySQL)와 MongoDB나 DynamoDB(AWS 제품) 같은 비관계형 데이터베이스 모두를 가질 수 있습니다. 후자의 비구조화된 특성은 분석을 하려는 기업에 도전 과제를 줍니다. ↩

토론

What did I miss?

사려 깊은 반론, 추가 근거, 문제를 바라보는 다른 시각을 환영합니다.

토론을 불러오는 중…

비공개 대화를 원하시나요? Leon에게 이메일 보내기.

관련 글

Thumbnail for 플래이드와 API의 힘

플래이드와 API의 힘

Plaid는 지루한 금융 절차를 추상화하여 다른 사람들이 더 빠르게 혁신할 수 있게 합니다.

Technology · · 13 min read