공용 기록이 있으면 현장은 어디까지 결정할 수 있을까

원문 번역 · Databricks와 기업의 미래

에이전트와 새로운 데이터베이스 기술이 기업의 형태와 우리가 매일 하는 일을 어떻게 바꿀까

벤 호로위츠(Ben Horowitz)·마이클 맥기니스(Michael McGuiness), a16z, 2026년 10월 27일

앞으로 20년 동안 우리 삶의 많은 부분이 바뀔 것이다. 그중 다섯 손가락 안에 들 만한 변화는 이 질문과 관련이 있다. “회사에서 하루 종일 무슨 일을 하나요?”

이 질문을 둘러싸고 두 가지 큰 변화가 일어나려 한다. 첫째는 에이전트를 통한 자동화다. 지금 사람이 하는 일을 설명하면 에이전트가 그 일을 자동화한다. 둘째는 직원이 주도적으로 움직일 수 있게 된다는 점이다. 문제에 가장 가까운 사람이 정보와 권한이 조직의 여러 층을 거쳐 내려오기를 기다리지 않고도 기회를 살펴보고 행동에 옮길 수 있게 된다.

두 변화 모두 우리가 매일 하는 일을 크게 바꿀 것이다. 더 나은 쪽으로 말이다. 단, 조직이 실제로 이 새로운 일하는 방식에 적응할 수 있어야 한다. 이 전제는 결코 가볍지 않다. 직원의 하루 업무는 회사가 어떤 공식 기록을 쓰고 어떤 방식으로 결정을 내리는지에 놀라울 만큼 크게 좌우된다. 그리고 그 기록과 의사결정 방식은 회사가 쓰는 데이터베이스 기술과 그 기술로 할 수 있는 일에 제약을 받는다. 이 두 번째 연결고리에 주목하는 사람은 많지 않다.

여기서 Databricks가 등장한다. 회사와 가까운 사람들은 잘 알지만, 그 밖에서는 실리콘밸리에서 실적에 비해 가장 덜 주목받는 기업일지도 모른다. 연환산 매출은 이미 70억 달러를 넘어섰고 전년 대비 80% 성장하고 있다. 이름은 들어봤을 것이다. 데이터 회사이고 에이전트에 중요하다는 정도를 넘어, 정확히 무엇을 하고 왜 중요한지 아는 사람은 많지 않다.

Databricks의 이야기는 뜻밖의 사건이 연달아 일어난 역사이자, 제품이 마침내 제때를 만난 사례다. 3년 전만 해도 Databricks에서 일어나는 모든 작업에는 사람이 관여했다. 이제는 사람이 보내는 쿼리보다 에이전트가 보내는 쿼리가 더 많고, 에이전트가 하루에 만드는 데이터베이스가 1,700만 개를 넘는다. 이 흐름은 계속될 것이다.

이야기는 네 가지 질문으로 나뉜다.

1. Databricks는 실제로 무슨 일을 하는가? 광고판에서 봤을 법한 레이크하우스(Lakehouse)와 레이크베이스(Lakebase)는 무엇이고, 왜 때맞춰 등장한 아키텍처의 돌파구인가?

2. 공식 기록 시스템(System of Record, SoR)이란 무엇인가? 에이전트가 실제 회사에서 일하고, 결정을 내리고, 회사의 지식을 쌓는 데 보탬이 되려면 왜 새로운 기록 시스템이 필요한가?

3. 애초에 기업이란 무엇인가? 에이전트 수가 사람의 천 배가 되면 기업은 어떻게 달라지는가? 기업은 무엇으로 차별화하고 가치를 만드는가?

4. 그 세계에서 사람은 하루 종일 무슨 일을 할까? 일터에 AI가 가져올 변화는 흔히 ‘평범한 사람도 소프트웨어 엔지니어처럼 일할 수 있다’고 소개된다. 장기적으로는 ‘누구나 관리자가 된다’는 쪽에 더 가까울지도 모른다.

어쩌면 마지막 질문에 가장 많은 것이 걸려 있다. 제임스 번햄이 『관리자 혁명』에서 기록한, 20세기를 만든 경영 방식이 지금 눈앞에서 해체되고 있다. 85년 전 번햄은 정보기술과 조직의 복잡성이 소수의 전문 경영자에게 의사결정이 집중되는 기업 운영 방식을 낳고 있다고 설명했다. 오늘날에는 새로운 기술의 물결 덕분에 일선의 숙련된 실무자가 다시 책임을 맡고 있다. 우리 모두에게 좋은 변화다.

이것이 Databricks의 이야기이자, 이 회사가 기업의 미래를 뒷받침할 것이라고 보는 이유다.

스파크에서 에이전트까지

최근 Databricks를 두고 ‘AI 물결에 올라탄 데이터 회사’라는 말이 나왔다. 이 회사를 세운 사람들은 AI 연구자였고, 창업 시점은 그 물결이 오기 10년 전이었다. 회사의 사업에는 약 20년에 걸쳐 스파크, 레이크하우스, 레이크베이스, 그리고 에이전트라는 네 개의 기술 S자 성장 곡선이 겹쳐 있다. 앞선 기술이 다음 기술의 가능성을 열었다. 이 흐름을 이해하려면 데이터베이스 기술을 잠깐 살펴볼 필요가 있다.

2009년 UC 버클리의 방문 연구원이던 알리 고드시(Ali Ghodsi)는 인터넷 기업들이 방대한 데이터로 사람들이 무엇을 클릭하고, 구매하고, 시청할지 예측하는 모습을 지켜봤다. ‘빅데이터’가 화두이던 시절이다. 당시 대표적인 프레임워크는 하둡(Hadoop)이었다. 야후, 페이스북, 트위터, 링크드인 등은 수천 대의 저렴한 범용 서버로 데이터 처리 작업을 나눠 병렬로 실행했다. 하둡 이전에는 처리량을 늘리려면 오라클이나 IBM 같은 업체에서 대당 수백만 달러짜리 장비를 사는 것이 일반적이었다. 하둡은 매력적인 대안이었다.

하둡의 큰 약점은 계산을 한 차례 마칠 때마다 결과를 디스크에 저장해야 다음 차례로 넘어갈 수 있다는 점이었다. 클러스터에 있는 저가 서버 한 대가 고장 나도 작업을 복구하기 쉬웠으니 합리적인 선택이었다. 하지만 예측하고 오차를 측정해 모델을 갱신하는 과정을 반복하는 머신러닝에는 몹시 느렸다. 하둡은 반복할 때마다 새 작업으로 처리하며 같은 데이터를 디스크에서 다시 읽었다. 모델을 개선하는 데 몇 초를 쓰기 위해 클러스터가 데이터를 옮기는 데 몇 분을 써야 했다.

이 문제에서 아이디어를 얻은 버클리 박사과정 학생 마테이 자하리아(Matei Zaharia)는 아파치 스파크(Apache Spark)의 첫 버전을 만들었다. 스파크는 저가 장비 여러 대에 처리를 분산한다는 하둡의 발상을 이어받았다. 여기에 자주 쓰는 데이터를 매번 디스크에서 불러오는 대신, 반복 작업 사이에 훨씬 빠른 서버 메모리에 유지할 수 있게 했다. 장애 복구 능력을 유지하면서도 이런 반복 작업은 최대 열 배 빨라졌다. 연구실은 2010년에 스파크를 오픈소스로 공개했다. 3년 뒤 알리와 마테이는 동료 연구원 다섯 명과 Databricks를 창업했다. 클러스터 관리, 규모 조정, 보안 등 스파크가 요구하는 복잡한 분산 인프라를 하나의 기업용 플랫폼 뒤로 숨기는 것이 목표였다.

스파크는 데이터 처리를 빠르게 만들었다. 데이터를 어디에 둘지는 별개의 문제였다. 당시 기업 데이터는 두 세계에 나뉘어 있었다. 데이터 웨어하우스에는 구조화되고 신뢰할 수 있는 기록이 있었다. 분석가는 SQL로 질의했고, 대시보드와 분기 보고서도 이 데이터를 바탕으로 만들었다. 데이터 레이크는 문서, 이미지, 녹음, 로그처럼 나머지 자료를 저렴하게 저장하는 곳이었다. 비용이 낮으니 팀마다 자료를 밀어 넣었지만, 들어오는 데이터를 점검하거나 구조화하지는 않았다. 텐서플로와 파이토치 같은 오픈소스 AI 도구가 데이터 레이크 주변에 큰 생태계를 만들었어도, 믿을 수 없는 데이터 더미에서 가치를 끌어내기는 어려웠다. 그래서 ‘데이터 늪’이라는 별명이 붙었다.

두 시스템은 각각 문제를 풀었지만 서로 다른 작업 환경을 만들었다. 엔지니어와 데이터 과학자는 레이크에서 파이썬을 썼고, 분석가는 웨어하우스에서 SQL을 썼다. 한쪽에서 다른 쪽의 데이터가 필요할 때마다 누군가 옮기는 파이프라인을 만들어야 했다. 회사에는 복사본, 파이프라인, 권한 설정, 서로 충돌하는 정의가 늘어났다. 2010년대 후반 Databricks, 우버, 넷플릭스는 각자 같은 해결책에 도달했다. 이들이 만든 델타 레이크, 후디, 아이스버그는 레이크의 파일 위에 테이블 계층을 얹어 변경 사항을 전부 반영하거나 전부 취소하는 기능, 스키마 관리, 버전별 이력 등 웨어하우스 수준의 보장을 제공했다. 성능과 신뢰성을 위해 데이터를 별도 웨어하우스로 옮기던 회사도 이제 데이터가 이미 있는 저장소에서 웨어하우스 작업을 실행할 수 있었다. 새로운 아키텍처를 가능하게 한 변화였다.

2020년 Databricks는 데이터 레이크와 웨어하우스를 결합해 레이크하우스를 만들었다. 레이크의 저렴하고 유연한 저장소에 웨어하우스의 신뢰성과 빠른 질의 성능을 결합했고, 같은 기반에서 웨어하우스 수준의 SQL과 머신러닝을 주요 작업으로 지원했다. 온갖 데이터를 담아두던 저렴한 저장소가 엔지니어, 데이터 과학자, 분석가가 함께 쓸 만큼 신뢰할 수 있는 기반이 됐다. ‘최고의 데이터 웨어하우스는 레이크하우스다’라는 광고 문구에 고객들도 동의한 듯하다. 글을 쓰는 시점에 Databricks의 레이크하우스 사업은 연환산 매출 15억 달러를 넘어 전년 대비 100% 넘게 성장하고 있다.

아마존 CTO 베르너 포겔스(Werner Vogels)는 2020년 1월 블로그 글에서 고객의 관점으로 이를 설명했다. 레이크 없이 기존 웨어하우스에 모든 데이터를 합치려면 데이터를 대대적으로 준비하고 추출·변환·적재(ETL)해야 한다. 어떤 정보를 버릴지 결정하고, 구조가 경직된 시스템을 계속 고쳐야 한다는 것이다. 데이터 레이크에는 형식에 관계없이 데이터를 들여올 수 있어 이런 선택을 할 필요가 없었다. 크고 다양한 데이터셋에서 성과를 내는 머신러닝과 AI에도 레이크는 좋은 기반이었다고 그는 썼다.

그래도 경계가 하나 남았다. 레이크하우스는 회사가 분석하는 데이터를 통합했지만, 애플리케이션이 돌아가는 데 쓰는 데이터까지 통합하지는 못했다. 결제나 로그인처럼 일상 업무의 실시간 트랜잭션을 처리하는 운영 데이터베이스는 여전히 고장 나기 쉬운 여러 파이프라인으로 레이크하우스와 이어져 있었다. 연산과 저장은 한 시스템에 묶여 있었고, 데이터는 업체 고유 형식에 갇혀 있었다. 데이터를 옮기는 일은 어느 조직에서든 손꼽히게 부담스러운 기술 과제였다.

그래서 2025년 Databricks는 서버리스 포스트그레스 회사인 네온(Neon)을 인수했다. 네온에서는 이미 데이터베이스 대부분을 AI 에이전트가 만들고 있었다. 네온은 레이크베이스라는 새 데이터베이스 아키텍처를 대표했고, Databricks는 네온을 자사 플랫폼에 통합한 제품을 Lakebase라고 이름 붙였다. 레이크하우스가 데이터 레이크 위에 웨어하우스를 다시 구축했다면, 레이크베이스는 같은 발상을 운영 데이터베이스에 적용한다. 연산과 저장을 분리해 데이터는 레이크에 저렴하게 두고 연산 자원은 수요에 따라 늘리거나 줄인다. 운영 데이터베이스와 레이크하우스가 같은 기반 저장소를 쓰므로, 별도의 파이프라인을 잔뜩 만들고 관리하지 않아도 데이터베이스의 변경 사항을 분석가, 엔지니어, 에이전트가 이용할 수 있다. Databricks는 트랜잭션과 분석을 통합한 이 방식을 LTAP(Lake Transaction/Analytical Processing)라고 부른다.

연산과 저장을 분리하면 데이터베이스도 코드에 가까운 방식으로 다룰 수 있다. 레이크베이스는 변경분만 복사하기 때문에 페타바이트 규모의 데이터베이스도 몇 초 만에 복제할 수 있다. 에이전트가 격리된 브랜치를 만들어 실험한 뒤 버릴 수 있다는 뜻이다. Databricks조차 최근까지 이 용도의 가능성을 충분히 알아보지 못했다. 글을 쓰기 전해에 출시된 레이크베이스는 이미 연환산 매출 1억 달러를 넘었고, 가장 활발한 사용자는 에이전트다. 알리는 장기적으로 기존 데이터베이스 시장보다 더 큰 시장이 될 수 있다고 본다.

이 기술적 돌파구는 때맞춰 나타났다. 수십 년 동안 기업의 소프트웨어는 소수 엔지니어가 만들고 나머지 직원이 썼다. 이제 사람은 원하는 결과를 말하고, 소프트웨어가 그 결과를 얻는 방법을 찾는 쪽으로 가고 있다. 중앙팀이 관리하는 데이터베이스 몇 개를 수천 명의 직원이 읽고 쓰던 회사에서는 앞으로 수백만 개의 에이전트가 수천 개의 데이터베이스를 읽고 쓰게 될 것이다.

에이전트를 위한 공식 기록 시스템

[원문 사진 설명] Databricks CEO 알리 고드시가 2026년 Data + AI Summit에서 발표하는 모습. 사진 출처는 Databricks.

6월, 알리는 Databricks의 Data + AI Summit에 모인 약 3만 명에게 범용 인공지능(AGI)이 이미 등장했다고 생각하면 손을 들어 달라고 했다. 그가 보기에는 대략 10%가 손을 들었다.

그는 AGI가 이미 왔다고 본다고 말했다. 근거로 최신 모델이 ‘인류의 마지막 시험’(Humanity’s Last Exam)의 절반 넘게 풀 수 있다는 점을 들었다. 이 시험은 100개가 넘는 분야의 전문가들이, AI가 풀기에는 너무 어렵다고 여겨지는 문제 2,500개를 모아 만들었다.

2022년 ChatGPT가 나왔을 때는 사람이 약 30초면 끝낼 코딩 작업을 처리할 수 있었다. 지금 최전선의 에이전트는 숙련된 엔지니어가 하루를 써야 하는 코딩 작업을 마친다. 독립 평가 기관 METR은 2019년 이후 모델별로 에이전트가 혼자 끝낼 수 있는 작업의 길이를 추적해 왔다. 그 길이는 대략 7개월마다 두 배가 됐다. 최근에는 더 빨라졌고 코딩 밖에서도 비슷한 흐름이 보인다. 이런 추세가 2030년대 초까지 이어지면 사람이 수년 걸려 할 일도 에이전트가 해낼 수 있을 것이다.

그런데 오늘날 대부분의 기업은 AI가 세일즈포스의 기록을 안정적으로 갱신할 수 있다고 아직 믿지 않는다.

알리는 지능보다 맥락이 문제라고 설명한다. 아무리 뛰어난 사람도 회사 데이터에 접근할 수 없고, 행동할 권한도 피드백도 없고, 동료의 머릿속에 있는 지식도 알 수 없다면 거의 아무 일도 할 수 없다. 알리의 해법은 ‘에이전트를 위한 공식 기록 시스템’이다.

팔란티어 CEO 알렉스 카프(Alex Karp)가 온톨로지를 설명하는 영상을 본 적이 있을지도 모른다. 그는 시장의 모든 가치가 칩과 온톨로지에 모일 것이라고 본다. 온톨로지가 있으면 대규모 언어 모델(LLM)을 사용하고 다듬어 기업에 적용할 수 있다고 말한다. 그게 실제 업무에서 어떤 뜻인지는 보통 듣는 사람 몫으로 남는다.

모든 회사에는 온톨로지가 있다. 회사에 무엇이 있고 그것들이 어떻게 연결되는지, 어떤 용어가 무슨 뜻이며 출처 두 곳의 내용이 다를 때 어느 쪽을 기준으로 삼는지에 대한 실무상의 모델이다. 일부는 데이터베이스, 대시보드, 정책, 문서에 들어 있지만 상당 부분은 숙련된 직원의 머릿속에만 있다. 완성되는 일도 없다. 계약이 바뀌고, 임시방편이 절차로 굳고, 예외가 규칙이 되면 공식 기록과 실제 업무는 조금씩 멀어진다. 누가 무엇을 결정하는지, 어떤 결정이 옳았는지를 기억하는 일도 마찬가지다. 권한과 평가 역시 문서에 빠져 있는 경우가 많고, 사람은 그 빈틈을 거의 눈에 띄지 않게 메운다. 예를 들어 영업 부사장은 성사가 확실하다고 보고된 최대 계약이 고객사 내부의 추진 담당자가 조용히 이직 면접을 보느라 멈춰 있다는 점을 알아야 한다. 어떤 담당자가 말하는 90%가 실제로는 50%에 가깝다는 점도 알아채고 CEO에게 전달하기 전에 전망치를 낮춰야 한다.

에이전트가 자율적으로 일하려면 사람의 머릿속에 있는 업무 개념과 권한, 평가 기준의 상당 부분을 회사의 공식 기록으로 옮겨야 한다. Databricks는 다른 기업 데이터도 레이크하우스에 저장하고 관리하므로 이 지식 역시 그곳에 두는 것이 자연스럽다고 본다. 알리는 레이크하우스가 이미 공식 기록 시스템이 됐다며, 이를 에이전트를 위한 공식 기록 시스템(System of Record for Agents, SORA)이라고 부른다.

직원들은 Databricks가 2024년에 출시한 자연어 인터페이스 지니(Genie)를 통해 이 시스템을 이용한다. 회사의 데이터에 자연어로 질문할 수 있고, 그 위에서 에이전트를 만드는 데도 점점 더 많이 쓴다. 그 밑의 기록은 회사 전반을 아우르며 네 가지 질문에 계속 답할 수 있어야 한다. Databricks는 네 가지 모두를 다루고 있다.

무엇이 사실인가? 레이크하우스와 레이크베이스에는 이미 현재 상태를 나타내는 데이터가 들어 있다.

그 사실은 무엇을 뜻하는가? Databricks의 Genie Ontology는 질문이 들어올 때마다 AI가 회사 데이터를 전부 뒤지게 하는 대신, 매출을 어떻게 계산하는지, 지난주 스탠드업 회의에서 무슨 말을 했는지처럼 조직이 아는 내용을 그래프로 계속 구축한다. 엔지니어들은 구글의 페이지랭크에서 이름을 따 온토랭크(OntoRank)라는 알고리즘을 만들었다. 누가 정의를 만들었는지, 얼마나 널리 쓰이는지, 최근에 언제 바뀌었는지를 따져 어떤 지식을 우선할지 정한다. Databricks 자체 시험에서는 회사의 온톨로지를 참조하도록 했을 때 에이전트 답변 정확도가 약 50%에서 84.5%로 올랐다.

무엇을 할 수 있는가? 직원마다 로그인 계정을 하나씩 주는 방식은 모두가 사람이었을 때는 통했다. 직원이 하루에 에이전트를 수백 개씩 띄우면 이 방식은 한계에 부딪힌다. 알리는 사일로로 나뉜 각 업체의 데이터베이스마다 에이전트 접근 권한을 일일이 줄 수는 없다고 설명한다. Databricks의 Unity Gateway는 회사의 각 모델, 에이전트, AI 도구에 고유 식별자와 예산, 행동 제한을 부여한다. 실행 기록에는 모든 행동이 남으므로 회사는 AI가 무엇을 했고 어떤 데이터에 접근했으며 비용이 얼마나 들었는지 볼 수 있다.

실행 결과는 어땠는가? Databricks는 에이전트를 만드는 방법 두 가지를 제공한다. 현업 팀은 지니에서 프롬프트를 공유 가능한 에이전트로 만든다. 이 에이전트는 회사 데이터를 바탕으로 추론하고, 점차 슬랙이나 세일즈포스 같은 애플리케이션에서 직접 행동도 한다. 엔지니어는 실서비스용 개발 플랫폼 Agent Bricks로 더 세밀하게 맞춤 제작한다. 어느 쪽이든 팀은 받아들일 수 있는 결과와 반드시 피해야 할 실수를 직접 정해 시험으로 만들 수 있다. Databricks는 업무별로 회사가 정한 기준에 맞춰 에이전트를 개선할 도구를 제공한다. 이로써 AI의 실행과 평가가 반복해서 이어진다.

기업 컴퓨팅의 플랫폼이 바뀔 때마다 공식 기록 시스템의 주도권을 두고 새로운 경쟁이 벌어졌다. 메인프레임 시대는 IBM이 주도했다. 클라이언트·서버 시대의 기업은 오라클과 SAP를 기반으로 삼았고, SaaS 시대에는 세일즈포스, 워크데이, 서비스나우가 각각 영업, 인사, IT의 공식 기록 시스템을 만들었다. 다음 변화는 에이전트다.

다만 어느 업체가 이길지보다 더 큰 질문은 에이전트가 기업 자체를 어떻게 바꿀지다.

기업의 본질

경제학자 로널드 코스는 1937년 논문 「기업의 본질」에서 기업이 애초에 왜 존재하는지 물었다. 시장이 가격과 계약으로 활동을 조정할 수 있다면, 왜 사람을 회사에 모아 관리자의 지시를 받게 하는가?

그의 답은 거래비용이었다. 적임자를 찾고, 어떤 일을 얼마에 할지 협상하고, 이행 여부를 확인하는 데는 시간과 돈이 든다. 기업은 이처럼 반복되는 시장 거래의 일부를, 합의된 범위에서 관리자가 자원을 배분하는 더 유연한 관계로 바꾼다. 기업 내부에서 일을 조율하는 데도 비용이 든다. 회사가 커지면 더 많은 정보가 더 많은 사람을 거쳐야 한다. 결국 거래 하나를 더 내부에서 처리하는 비용이 시장에서 조달하는 비용과 같아지는 지점이 온다. 코스에 따르면 기업은 두 비용이 만나는 지점까지 커진다.

40년 뒤, 노벨상과 튜링상을 모두 받은 몇 안 되는 사람 중 한 명인 허버트 사이먼은 회사의 기억을 한곳에 모으면 의사결정을 분산시킬 수 있다고 봤다. 컴퓨터에 공용 기록을 두면 각 의사결정 지점이 독립적으로 행동할 수 있다. 시스템이 그 행동을 공용 기록에 대조해 자동으로 조정하기 때문이다.

항공사라면 보스턴의 발권 직원이 시카고행 마지막 좌석을 팔기 전에 다른 모든 발권 직원에게 전화할 필요가 없다. 공용 기록을 보고 좌석을 팔면, 모두가 참조하는 기록도 바뀐다. 사람들이 서로 확인하는 대신 같은 기록을 기준으로 움직일 수 있게 되면서, 각자 행동해도 충돌할 위험이 줄었다.

관계형 데이터베이스는 이 원리를 회사 전체로 넓혔다. 보고서, 회의, 관리자를 거친 전달이 필요했던 일을 공용 기록에 대한 질의로 처리하게 됐다. 회사는 관리자 수를 같은 비율로 늘리지 않고도 더 많은 제품, 지역, 사람, 거래를 조율할 수 있었다. 1990년대에는 인터넷을 통해 외부 사람도 기업의 기록에 데이터를 남길 수 있게 됐다. 온라인 장터는 서로 모르는 수백만 명의 구매자와 판매자, 재고, 결제를 연결할 수 있었다.

기업 안팎의 거래비용이 모두 줄었기 때문에 데이터베이스 시대에 모든 회사가 같은 방향으로 커지거나 작아지지는 않았다. 대신 더 다양한 규모와 형태의 기업이 가능해졌다. 큰 회사는 훨씬 복잡한 일을 관리할 수 있게 됐고, 작은 회사는 예전에 부서 하나가 통째로 필요했던 역량을 빌리거나 사서 쓸 수 있게 됐다.

AI도 비슷할 가능성이 크다. 회사 내부에서 에이전트는 보고, 검색, 반복 업무를 자동화해 조율 비용을 낮출 수 있다. 외부에서는 공급업체를 찾아 평가하고, 일상적인 계약 조건을 협의하고, 결과를 살피는 일을 도울 수 있다. 데이터베이스가 그랬듯 AI는 기업과 시장이 감당할 수 있는 복잡성의 한계를 높일 것이다. 더 큰 영향은 기업의 조직 형태를 바꾸는 데서 나올지도 모른다.

20세기의 전형적인 기업은 피라미드 모양이었다. 위계 자체가 정보를 처리하는 체계였기 때문이다. 사실은 보고서와 회의를 통해 위로 올라갔고, 결정은 아래로 내려왔다. 정보가 흐르는 경로는 조직도를 그대로 닮았다. 어떤 데이터를 모으고 공유할 가치가 있는지는 관리자가 정했다. 그래서 회사가 자기 모습을 얼마나 잘 파악하는지도 관리자가 무엇을 수집했느냐에 달려 있었다.

데이터베이스는 이 구조를 일부 바꿨다. 공용 기록 덕분에 직원은 정보에 직접 접근하고 더 독립적으로 움직일 수 있었다. 다만 대개 다른 사람이 설계한 절차 안에서였다. 컴퓨터가 기업에 들어온 뒤로도 오랫동안 소수의 관리자, 운영팀, 엔지니어가 회사의 스키마와 지표, 애플리케이션, 업무 흐름을 정했다. 이 시스템을 쓰는 직원은 설계에 참여하는 직원보다 훨씬 많았다.

그 구조는 사람이 할 수 있는 일뿐 아니라 회사가 알 수 있는 사실에도 제약을 걸었다. 고객지원 담당자가 일주일에 몇 번씩 같은 불만을 듣더라도, 관리자가 그 내용을 보고서에 담지 않으면 회사 차원에서는 모르는 일로 남는다. 문제를 실제로 고치는 일은 또 다른 이야기다.

이제 정보를 알아내는 일과 행동에 옮기는 일을 가로막던 기술적 장벽이 동시에 낮아지고 있다.

안드레이 카파시(Andrej Karpathy)는 2023년에 가장 주목받는 새 프로그래밍 언어가 영어라고 말했다. 자연어 인터페이스가 있으면 더 많은 분야의 실무자가 SQL이나 파이썬을 아는 사람이 질문을 예상하거나 답해주기를 기다리지 않고 회사 데이터에 질의할 수 있다. 100년 역사의 글로벌 헬스케어 기업 노보 노디스크에서 과학자들은 데이터 엔지니어가 쿼리를 작성해 주기를 기다리곤 했다. 이제는 지니에 비만 관련 데이터를 모두 보여 달라고 하면 관련 임상시험, 분석 결과, 시각화를 바로 불러온다.

정해진 권한 안에서 직원은 몇 시간, 때로 며칠의 일을 줄이는 도구도 만들 수 있다. 전기차 제조사 리비안에서는 SQL 경험이 없던 재무 분석가가 지니로 CFO에게 보여줄 매출 대시보드를 만들었다. 공급망 분석가는 입고 예정 물량을 추적하는 앱을 만들었다.

물론 모든 직원이 승인 없이 회사의 데이터와 자원을 전부 쓸 수 있다는 뜻은 아니다. 업무를 더 많은 곳에 분산할수록 공통으로 사용하는 온톨로지와 권한, 책임 소재가 중요해진다. 공식 기록 시스템은 현재 상태와 행동의 경계를 중앙에서 관리하는 동시에, 질문하고 업무 흐름을 설계하고 행동할 수 있는 사람의 범위를 넓힌다.

3월에 잭 도시(Jack Dorsey)는 「위계에서 지능으로」라는 글에서 자신의 회사 블록(Block)이 이 발상을 훨씬 멀리 밀어붙이는 실험을 시작했다고 소개했다. 이제 시스템이 회사 전체를 계속 갱신되는 모델로 유지하고, 예전에는 관리 계층을 거쳐 사람이 정보를 전달해야 했던 조율 업무를 수행할 수 있다는 주장이다.

알리의 에이전트용 공식 기록 시스템은 도시가 기업의 ‘세계 모델’이라고 부르는 것과 비슷하다. 회사의 운영, 결정, 역량, 우선순위를 계속 반영하는 모델이다. 일선에 있는 사람은 모델을 현실에 맞추고, 모델은 사람들이 행동하는 데 필요한 공통 맥락을 제공한다. 도시에 따르면 사람은 모델이 아직 닿지 못하는 영역에 접근한다. 직감, 뚜렷한 방향 감각, 문화적 맥락, 사람 사이의 신뢰, 현장의 분위기를 알아챈다. 윤리적 판단, 전에 없던 상황, 실수 하나로 회사의 존립이 흔들리는 순간처럼 모델 혼자 맡아서는 안 되는 결정도 내린다. 그 결과 업무가 더 널리 분산돼도 조율에 필요한 관리 계층은 줄고, 리더는 실제 업무를 더 잘 볼 수 있다.

Databricks는 이미 블록에 기반 인프라 일부를 제공하고 있다. 스퀘어, 캐시 앱, 타이달에 걸쳐 페타바이트 규모의 데이터를 관리하고 통제한다. 블록은 자체 AI 코딩 도구 구스(goose)가 회사의 맥락을 참조하도록 하는 데도 Databricks를 사용했다.

도시는 이 구조의 경쟁력이 속도에 있다고 본다. 기업이 얼마나 빨리 움직일 수 있는지는 정보 흐름에 달렸고, 위계와 중간 관리가 그 흐름을 늦춘다는 주장이다.

알리도 큰 방향에는 동의한다. 다만 같은 논리가 사람의 조직도에도 적용되는지는 별개의 질문이라고 본다. 사람들이 조직도와 회사 안에서 정보가 실제로 흐르는 방식을 흔히 같은 것으로 본다는 것이다. 10년, 20년 전에는 둘이 같았다. 무슨 일이 일어나는지 알려면 부하 직원에게 물었고, 그 직원은 다시 자기 직원에게 묻는 식으로 조직도를 오르내렸다. 지금은 다르다. 알리는 회의에서 무슨 질문을 하든 지니가 거의 다 답해 준다고 말한다. 회사에는 여전히 관리자가 필요하지만 정보를 전달하는 데만 매달리는 사람은 줄어들 것이다. 사람을 성장시키고, 팀이 중요한 일을 고르도록 돕고, 누군가 불만이 있다는 걸 알아차리는 데는 여전히 사람의 관심이 필요하다.

두 사람의 견해는 위계가 얼마나 사라질지에서 갈린다. 다만 기업이 너무 복잡해져 관리자 없이는 돌아가기 어려웠던 20세기에 관리자에게 큰 힘을 주었던 정보 전달 업무를 AI가 맡으리라는 점에는 동의한다.

두 번째 관리자 혁명

85년 전 대공황 직후, 제임스 번햄은 『관리자 혁명』에서 기업의 운영 방식, 나아가 자본주의가 작동하는 방식 자체가 크게 바뀔 것이라고 내다봤다. 대공황을 거치며 기업가가 이끄는 자본주의가 수명을 다했고 다른 체제가 그 자리를 차지하리라는 생각이 널리 퍼졌다. 사회주의 집단 체제와 국유화가 거론됐다.

번햄은 일어나고 있는 변화를 다르게 읽었다. 그는 ‘관리자 사회’라는 세 번째 모델을 제시했다. 이는 기업 조직을 넘어 하나의 새로운 사회 질서였다. 이 체제에서 실권을 쥐는 집단은 전통적인 자본가도 노동자도 아닌, 대기업과 국가를 운영하는 전문 경영자와 기획자, 관료, 임원이었다.

번햄은 현대의 제도가 개별 자본가가 직접 운영하기에는 기술적으로 너무 복잡하다고 봤다. 직원이 10만 명인 회사에서 일어나는 일을 CEO 한 사람이 전부 알 수는 없다. 그래서 통제권은 소유자와 분야 전문가에게서 관리 업무를 맡은 사람들 쪽으로 서서히 옮겨갈 것이었다.

20세기 후반에는 전문 경영자 중심의 체제가 거의 완전히 승리했다. 마크 앤드리슨(Marc Andreessen)은 포천 500대 기업 임원 대부분이 자기 회사가 하는 일의 전문가도, 그 회사의 창업자도 아니라고 지적한다. 이들은 전문 경영자이며, 경력을 쌓는 동안 헬스케어에서 금융으로, 다시 다른 업종으로 옮기는 식으로 여러 사업을 운영할 가능성이 높다는 것이다.

이 체제의 장점에는 대가가 따랐다. 번햄이 말한 관리자 계층 덕분에 기업은 규모를 키우고 안정적으로 운영할 수 있었다. 그만큼 속도와 적응력이 떨어졌고, 기술이 빠르게 바뀔 때 그 단점이 두드러졌다.

마크는 Databricks처럼 견고한 기반 위에 에이전트를 얹으면 두 체제의 장점을 살리는 세 번째 모델이 가능할지도 모른다고 본다. 창업자의 추진력과 적응력을 유지하면서, 규모가 커질 때 필요한 관리 업무의 방식을 바꾸는 것이다. 에이전트는 관리 계층을 필요하게 만든 정보 전달과 조율 업무의 일부를 자동화한다. 회사의 공식 기록 시스템은 현장 직원에게 일하는 데 필요한 맥락과 행동할 권한을 준다. 더 많은 창업자가 이런 방식으로 회사를 운영할 수 있게 될 것이다.

일론 머스크는 여기서 한 걸음 더 나아간다. 그는 올해 초, 의사결정 과정에 사람이 계속 관여하는 기업은 경쟁에서 질 것이라고 내다봤다. AI 시대에 사람을 계속 끼워 넣는 일은 일부 셀을 사람이 계산해야 하는 스프레드시트를 쓰는 것과 같다는 주장이다.

장기적으로는 일론이 맞을 수도 있다. 완전히 자율적으로 운영되는 회사가 얼마나 멀리 있는지는 아무도 모른다. 몇 년 안에 가능하다는 전망부터 영원히 오지 않으리라는 전망까지 있다. 그때까지는 역설적으로 전문 경영자 중심 체제가 약해질수록 모두가 관리자처럼 일하는 모습에 가까워질 수 있다. 모든 사람에게 부하 직원이 생기는 것은 아니지만, 할 일을 명확히 정하고 실행을 맡기고 결과를 살피고 절차를 고치는 사람은 늘어난다. 두 번째 관리자 혁명으로 전문 경영자 계층이 독점하던 관리 업무가 더 많은 사람에게 퍼지는 셈이다.

오늘날 소프트웨어 엔지니어는 이 변화를 뚜렷이 느낀다. 코드를 한 줄씩 손으로 짜던 일에서 코딩 에이전트 팀을 관리하는 일로 옮겨가고 있기 때문이다. 엔지니어의 하루는 점점 관리자의 하루를 닮는다. 문제의 범위를 정하고, 작업을 나눠 에이전트 여러 개에게 병렬로 맡기고, 돌아온 풀 리퀘스트를 검토한다. 일부는 승인하고 일부는 의견을 달아 돌려보낸다. 에이전트가 더 많은 분야에서 능력을 갖추면 지식 노동자들도 모든 단계를 직접 수행하는 방식에서 일을 정의하고 맡기고 평가하는 방식으로 옮겨갈 것이다. 노보 노디스크의 과학자와 리비안의 공급망 분석가는 이미 지니로 에이전트를 지휘해 예전에 엔지니어나 데이터 과학자 팀이 필요하던 일을 하고 있다. 그만큼 해당 팀은 더 중요한 일에 집중할 수 있다.

이는 사람의 생산성과 임금에 좋은 소식이다. 실행과 판단은 경제적으로 서로의 가치를 높인다. AI가 반복 실행의 비용을 낮추면 그 실행을 어디에 쓸지 정하는 판단에 대한 수요는 늘어난다.

수학자 앨프리드 노스 화이트헤드는 한 세기 전, 의식적으로 생각하지 않고도 해낼 수 있는 중요한 일이 늘어나면서 문명이 발전한다고 봤다. 기업도 마찬가지다. 반복 업무 하나씩 더 자율적으로 돌아가게 된다. 사람이 에이전트의 작업 과정을 바로잡을 때마다 그 수정 사항이 다음 실행을 개선해야 한다. 정해진 범위의 업무를 안정적으로 해낼 수 있다는 게 확인되면, 사람은 그 과정에서 빠져나와 아직 풀리지 않은 다음 문제로 간다. 그동안 배운 것은 기업의 공용 기록에 남긴다.

다만 번햄이 이 상황을 봤다면 한 가지를 짚었을 것이다. 기업이 자율성을 지키려면 자신의 모델과 현장 사람들이 그 모델에 가르친 내용을 스스로 소유해야 한다는 점이다.

자기 지식을 통제하는 기업

에이전트를 활용하는 기업에서 뛰어난 사람의 가치는 더 커질 것이다. 그런 사람도 들어왔다가 떠난다. 그사이 모델은 계속 좋아지고, 경쟁사도 같은 모델을 빌려 쓸 수 있다. 그렇다면 기업은 어떻게 오래가는 경쟁 우위를 만들 수 있을까?

신용 관련 결정을 돕기 위해 같은 최신 모델을 빌려 쓰는 두 은행을 생각해 보자. 첫 은행은 모델에 프롬프트를 보내 답을 받은 뒤 최종 결정만 기록한다. 둘째 은행은 어떤 사실이 답을 뒷받침했는지, 사람이 결정을 뒤집은 경우는 언제였는지, 어떤 결정이 좋은 결과를 냈고 어떤 결정이 실패했는지까지 기록한다. 그 결과를 보며 정책을 계속 고친다. 1년 뒤 더 좋은 모델이 나왔을 때, 은행 자체가 더 나아져 있는 곳은 둘 중 하나다. 기업이 쓰는 AI 모델을 교체해도 새 모델이 회사의 용어 정의, 권한, 평가를 마친 사례, 고객 이력, 어렵게 정리한 예외를 물려받는다면 지속적인 경쟁 우위를 쌓을 기반이 된다. 누구나 쓰는 것과 같은 프롬프트에서 다시 시작한다면 그런 기반을 얻기 어렵다.

둘째 은행이 최근 사람들이 ‘주권을 가진 기업’이라고 부르기 시작한 사례다. 공급업체가 가격을 올리거나 약관을 바꾸거나 모델을 폐기해도 그동안 배운 것을 잃지 않고 공급업체를 바꿀 수 있다. 모델이 더 똑똑해지고 회사의 의존도가 높아질수록 이 독립성은 중요해진다.

마이크로소프트 CEO 사티아 나델라도 최근 글에서 다른 이유로 비슷한 결론에 도달했다. 그는 AI 모델이 사람과 조직의 전문성을 계속 흡수해 누구나 쓸 수 있게 만든다고 본다. 그래서 모든 기업이 그가 ‘인적 자본’과 ‘토큰 자본’이라고 부르는 것을 쌓아야 한다는 주장이다. 인적 자본은 구성원의 지식과 판단, 관계, 창의성이고, 토큰 자본은 회사가 구축하고 소유하는 AI 역량이다. 둘은 반복해서 서로를 개선하며, 나델라는 이 학습 과정 자체가 기업의 새로운 지식재산이 된다고 본다.

토큰 자본의 기반은 데이터다. 엔비디아 CEO 젠슨 황은 Databricks의 2024년 Data + AI Summit에서 기업의 업무 데이터가 금광과 같다고 말했다. 엔비디아에서는 칩 설계부터 공급망까지 거의 모든 일이 데이터로 결과를 개선하고, 그 과정에서 다시 데이터를 얻는 순환에서 출발한다고 설명했다. 덕분에 규모는 작으면서도 세계에서 가장 큰 회사 중 하나가 될 수 있었다는 것이다. 당시 엔비디아의 기업 가치는 3조 달러를 넘었고 직원은 3만 명이었다. 그는 회사에서 수많은 AI가 놀라운 일들을 해주기 때문에 가능했다며, 모든 기업에 이런 변화가 찾아올 것이라고 봤다. 이 모든 것이 데이터에서 시작한다는 이야기다.

Databricks는 데이터와 그 위에 구축한 학습 과정이 기업이 통제할 수 있는 시스템에 있어야 한다고 본다. 기업 업무에 맞게 수년간 개선한 Databricks 자체 특화 모델에도 같은 원칙을 적용한다. 데이터와 함께 중요한 것은 결과를 다음 결정에 반영하는 과정이다. Databricks는 이것이 분명해지기 전인 2023년부터 여기에 집중해 왔다. 소유권만으로 경쟁 우위가 생기지는 않지만, 기업의 기억이 특정 공급업체의 시스템에 갇히는 일은 막을 수 있다. 데이터와 그 데이터를 해석하는 AI를 이용해 경쟁사보다 더 빠르게 의사결정과 제품을 개선할 수 있을 때 경쟁 우위가 생긴다.

Databricks는 이 역량을 일찍 키웠다. 스파크는 오픈소스였으니 고객이 내려받아 직접 운영해도 됐다. 창업자들은 스파크를 더 쉽게 운영할 수 있고, 더 빠르고 안전하며 기업에 더 유용하게 만들면 고객이 Databricks에 돈을 낸다는 걸 배웠다. 살아남으려면 무료 대안이 따라오는 속도보다 빠르게 고객에게 가치를 만들어줘야 했다. 에이전트가 대안을 찾고 갈아타는 비용을 낮추면 더 많은 회사가 비슷한 시험대에 오를 것이다.

살면서 만날 최고의 아이디어

약 10년 전, 알리가 조언을 구하려고 내게 전화했다. 세계에서 손꼽히는 대기업이 Databricks에 인수를 제안했다. 직전 투자 라운드의 기업 가치보다 약 여섯 배 높은 금액이었다.

꿈 같은 결과였다. 불과 2년 전에는 회사가 문을 닫을 뻔했고 시리즈 C를 주도할 투자자도 구하지 못했기 때문이다. 2013년에는 우리가 시리즈 A를 주도했다. 당시 회사는 버클리 출신 연구자 일곱 명으로 이루어졌고 반복 매출은 자체 콘퍼런스 입장권 판매에서만 나왔다. 아무도 시리즈 C를 주도하려 하지 않자 우리와 NEA가 나섰다.

그때 대화는 나보다 알리가 더 잘 기억한다.

“원하는 대로 해도 돼. 어느 쪽이든 내가 지지할게. 솔직히 그 가격에 팔면 나한테도 아주 좋은 일이야. a16z가 큰돈을 벌고 투자자들에게 원금의 몇 배를 돌려줄 수 있으니까. 개인적으로는 그쪽이 더 나을 수도 있어. 다만 내가 걸어온 길을 돌아봤어. 나는 라우드클라우드와 옵스웨어의 CEO였는데, 그때 내게 주어진 기회와 지금 자네 손에 있는 회사는 달라. 라우드클라우드나 옵스웨어 같은 회사도 평생 몇 번이나 만날 수 있을까? Databricks 같은 회사는 더 드물지. 시장이 정말 크잖아. 팔아서 큰돈을 벌면 인생에서 크게 성공한 거야. 그런데 자네가 나 같은 사람이라면 평생 이런 생각을 할 거야. ‘내게 온 그 한 번의 기회를 놓쳤어. 바로 그 회사였는데 끝까지 해봤어야 했어. 이제는 어디까지 갈 수 있었는지 영영 모르겠지.’ 그렇게 살고 싶어, 아니면 돈을 받고 싶어? 어떤 결정을 하든 지지할게.”

알리는 고맙다고 말하고 전화를 끊었다. 그리고 속으로 생각했다. “우리는 절대 안 팔아. 그럴 일은 없어.”

이렇게 뛰어난 창업자가 이렇게 좋은 시장 기회를 만나는 일은 좀처럼 없다. 창업자는 훌륭하지만 시장이 작기도 하고, 시장은 큰데 창업자가 그 기회를 다 살리지 못하기도 한다. 이 회사에는 둘 다 있었다.

지난달 Databricks의 연환산 매출은 70억 달러를 넘겼다. 전년 대비 80% 성장했고 기업 가치는 1,900억 달러로 평가됐다. 알리는 그 큰 기회를 감당할 수 있는 창업자였다.

Databricks가 겨냥하는 전체 시장(TAM)은 기업의 토대 그 자체다. 무엇이 사실인지, 데이터가 무엇을 뜻하는지, 누가 무엇을 할 수 있는지, 어떤 실행이 효과가 있었는지를 정하는 공용 공식 기록 시스템이다. 이 기반이 있으면 사람과 에이전트는 매 결정을 여러 관리 계층에 올리지 않고 자율적으로 움직일 수 있다. 그 행동의 결과는 기업이 소유하는 기록으로 돌아온다.

조율 비용이 줄고, 기업은 지금 가진 인력으로 더 많은 일을 할 것이다. 예전에는 수천 명이 필요했던 일을 열 명이 해낼 수 있게 되면, 과거에는 성립하지 못했던 회사도 생긴다. AI가 뛰어난 사람이 할 수 있는 일을 모두 해내기까지는 아직 멀었다. 그때까지 이런 변화는 뛰어난 사람의 가치를 더 높일 것이다.

누군가가 설계해 둔 절차를 그대로 수행하는 사람은 줄어들 것이다. 이미 방법을 아는 일은 에이전트가 처리하기 때문이다. 더 많은 사람은 아직 아무도 풀지 못한 문제에 매달릴 것이다. 어떤 결과가 좋은지 판단하고, 무엇이 달라졌는지 알아차리고, 다음에는 무엇을 만들어야 할지 결정하는 일이다.

앞으로 수십 년 동안 사람들은 회사에서 하루 종일 무슨 일을 할까? 솔직한 답은 아직 방법을 찾지 못한 일을 한다는 것이다. 에이전트와 기업이 이미 할 줄 아는 일을 더 많이 자동화할수록, 사람은 이 새로운 지능과 함께 새로운 것을 만들고 예전에는 손댈 수 없던 문제를 풀 것이다.

읽고 든 생각

솔직히 Databricks의 초기 투자자인 a16z가 이 회사를 홍보하기 위해 쓴 글로 읽혔다. 그래도 기록을 한곳에서 관리하면 현장에서 더 많은 결정을 내릴 수 있다는 주장에는 동의한다. 항공사 사례가 그 이유를 잘 보여준다.

발권 직원이 공용 예약 기록을 보고 마지막 좌석을 팔려면, 먼저 항공사가 그 직원에게 판매 권한을 줘야 한다. 특정 고객에게 좌석을 우선 배정할지, 초과 예약을 몇 석까지 허용할지도 회사가 정할 규칙이다. 그 기준이 정해져 있으면 현장 직원은 다른 지점에 전화해 남은 좌석을 확인할 필요 없이 직접 판매를 결정할 수 있다. 정해진 범위에서 좌석을 팔 권한과 그 범위를 바꿀 권한은 서로 다르다.

공용 기록을 두면 어느 지점에서 조회하든 같은 좌석 상태를 기준으로 삼을 수 있다. 판매 결과가 빨리 반영될수록 이미 팔린 좌석을 빈자리로 보는 시간도 짧아진다. 다만 두 지점이 거의 동시에 조회하면 둘 다 한 자리가 남았다고 볼 수 있다. 별도 우선권이 없다면 먼저 조회한 직원보다 판매를 먼저 확정한 요청에 자리가 돌아간다. 예약 시스템이 확정하는 순간 좌석이 남아 있는지 확인하고, 확인과 차감을 한 번에 처리하면 뒤 요청은 좌석이 없다는 응답을 받는다.

이 예시에서 현장이 얻는 자율성은 다른 지점에 확인하는 데 시간을 쓰지 않고 이미 맡은 결정을 내릴 수 있다는 데 있다. 회사가 판매 기준을 정하고 공용 기록이 여러 지점의 요청을 조정해주기 때문에 가능한 일이다.