밀피유의 이야기

엑셀 2007은 이전 버전에 비해 인터페이스 말고도 여러 부분의 개선이 이루어졌습니다. 사실, 기능만으로 따진다면 이전 버전과 크게 달라진 것이 별로 없다고 볼 수도 있습니다. 하지만 내부적으로 여러 가지 제약사항들이 완화되어 이전 버전의 제한 영역에서 생기던 오동작이 많이 줄어들었습니다.

하지만 엑셀의 제한이 완화되었다고 해서 데이터 크기가 커지는 속도가 완화된 것은 아닙니다. 물론, 엑셀 2007의 모든 셀을 가득 채울만한 거대한 데이터는 엑셀 대신 다른 처리 방법을 고안하는 것이 맞지만, 엑셀만큼 편리한 데이터 처리 도구가 많지 않습니다.

엑셀 2007은 분명 (2^14) * (2^20) 크기의 커다란 스프레드시트 전체에 데이터를 넣어도 제대로 동작해야 합니다. 물론, 모든 셀에 데이터를 넣는다고 해서 즉시 제한 영역에서 일어나는 오동작이 일어나지는 않지만, 다른 세부 제한 때문에 엑셀 2007에서 기존 엑셀 2003에서 사용하는 것보다 아주 큰 데이터를 처리하는데 엑셀을 완전히 신뢰할 수 없습니다.

대부분의 문제는 이전 버전에서 개수로 제한을 두던 사항들이 엑셀 2007에서 개수 제한 대신 메모리 한계만큼 가능하도록 제한을 푼 것에서 일어납니다. 엑셀은 계산 속도 단축을 위해 무조건 잔체 셀을 계산하지 않습니다. 그래서 워크시트에 아주 많은 계산들이 엉켜있어도 쉽사리 느려지지 않는데요, 약 8000개 정도의 다른 셀을 참조하는 계산을 계산하지 않은 상태로 유지할 수 있습니다. 처리하지 않은 계산이 제한을 넘으면 그때서야 엑셀이 잠깐 얼어붙어 전체 계산을 수행합니다.

그런데, 엑셀 2007에서는 이런 제한들이 '메모리가 허락하는 만큼'으로 변경되었습니다. 메모리를 많이 꽂으면 꽂을수록 계산을 나눠서 할 수 있으니 더 빠르다고 생각할 수 있지만, 오히려 처리되지 않은 계산이 늘어나면 셀을 참조하는 과정에서 오동작이 생깁니다. 수식이 들어있는 셀을 새로 고치면 이 셀에 종속된 모든 셀의 계산을 처리해야 하고, 종속된 셀을 처리하는 과정에서 이 셀을 복사해서 만든 다른 셀의 계산도 수행하는 것이 정상이지만, 오동작이 많이 발생합니다. 그래서 가끔씩 워크시트 전체를 수동으로 리빌드 해야 합니다. 처리량이 많다면 엑셀이 한참 얼겠죠.

또, 이전 버전에서 2048개로 제한되어 있던 한번에 복사하거나 붙여넣을 수 있는 필터링 된 셀의 영역 수도 엑셀 2007에서는 '메모리 한계만큼'으로 변경되었는데, 덕분에 이번에도 아주 많은 셀을 옮길 때 문제를 일으킵니다. 필터링 된 상태를 복사했지만 실제로는 필터링 되어 있지 않거나, 필터링 된 데이터의 일부만 복사되거나, 리소스가 부족하다는 에러를 내고 작업이 수행되지 않기도 합니다. 이 상황들이 무작위로 일어나지요.

The Big Grid - 엑셀 2007 - 가 많은 데이터를 처리할 때 일어나는 여러 가지 문제점들이 엑셀 자체의 문제일지, 아니면 엑셀 2007의 워크시트 전체를 사용하려면 이제 32비트 윈도우에서 처리할 수 있는 메모리보다 더 많은 메모리가 필요한 것일지는 잘 모르겠습니다. 하지만, 적어도 32비트 환경과 2기가 정도의 메모리에서는 엑셀 2007이 제시하는 처리 가능한 데이터의 양을 신뢰할 수 없고, 데이터의 처리 결과나 작업 과정도 신뢰할 수 없는 상황이 많았습니다.

엑셀 2007은 분명 엑셀 2003보다 더 많은 데이터를 처리할 수 있도록 만들어졌지만, 아직 아주 큰 데이터를 원활하게 처리할만큼 엑셀 자체가 안정적이지 않고, 그 정도의 데이터를 처리하기 위해서는 32비트 윈도우의 한계에 도달하지 않았나 싶습니다.

엑셀 2007을 처음 구경한 것이 언제인가 하고 찾아보니 어느새 2년 하고도 석달 전입니다. 인터페이스를 포함해서 여러 가지 사항들이 변경되는 것을 파악했지만, 실제로 2년이 지나도록 주력으로 사용할 일이 없었습니다. 새로운 인터페이스에 적응하기 귀찮아서가 가장 큰 이유였고, 어째서인지 엑셀 2007을 사용하려고 할 때마다 체감 속도가 엑셀 2003에 비해 상당히 느리다고 생각되었기 때문에, 올해까지도 굳이 사용하려고 노력하지 않았습니다. 더 이상 엑셀 2003으로 처리할 수 없는 커다란 데이터를 만나기 전까지는요.

하지만 기어이 만나고야 말았습니다. 최대 열 수가 65,536개인 엑셀 2003에서 여러 워크시트로 데이터를 나눠 어떻게든 처리해 보려는 시도를 하기 부끄러울 정도로 기나긴 열을 자랑하는 이 데이터는 인터페이스에 적응하는 것이 귀찮아 주섬주섬 피하던 엑셀 2007을 어떻게든 써먹지 않으면 안 되겠다는 결정을 내리도록 만들었습니다.

이 데이터는 뭘 하든 골칫거리였는데, 여닫는데만도 한참씩 걸렸고, 열 단위로 뭘 하려고 마음먹으면 그게 뭐든지 간에 한 80만 번씩 반복해야 하는 것이 가장 큰 문제였습니다. 특히 이 데이터는 하나의 열이 한 가지 값을 의미하는 형식으로 만들어져 모든 계산은 다른 열을 참조하게 되어 있었고, 그 참조는 다시 80만개의 셀 중 어느 셀을 참조할지를 찾아야 하는 일이 일어났습니다. 당연히 엑셀은 뭐 하나 건드리면 몇 분씩 얼어버렸고, 처리에 집중할 수가 없었습니다.

엑셀 계산 속도를 향상시키는 여러 가지 방법을 찾아봤는데, 당장 시도해볼 수 있는 것들은 최소한 엑셀이 계산을 위해 하염 없이 굳어버리는 상황을 사전에 예측이나마 할 수 있게 만들어 주었습니다. 적어도, 엑셀이 굳고 나면 가서 잠깐 자고 올지, 아니면 커피를 한 잔 타서 마시고 올지, 화장실에 다녀올지, 은행에 다녀올지를 결정할 수 있습니다.

일단, 같은 계산 결과를 여러 곳에서 사용한다면 저처럼 멍청하게 - ㅜ_ㅜ - 결과를 필요로 하는 모든 셀에 수식을 집어넣지 말고 독립된 셀에 계산을 한 다음, 그 셀을 참조하도록 만들면 계산을 한 번만 할 수 있습니다. 제가 사용했던 수식은 < 그 열에서 값을 가져와라 (어느 열인지 찾아서) > 였는데, 저 '어느 열인지 찾아서' 부분이 80만열 중 하나를 찾는 계산을 했습니다. 이걸 여러 셀에 붙여넣고 보니 시시각각 얼어붙는 엑셀 앞에서 뜨거운 콧바람을 토해낼 수밖에 없었지요. < 그 열에서 값을 가져와라 (이미 찾아둔 열 위치) > 같은 식으로 표현하면 엑셀이 얼어붙은 동안 은행에 가는 대신 화장실에 다녀오는 정도로 끝낼 수 있습니다.

두번째로 덕을 본 건, 범위 내에서 검색을 하는 경우, 미리 다른 계산을 통해 범위를 줄여 주면 큰 도움이 된다는 것입니다. 언듯 생각했을 때는 범위를 지정하기 위해 사전에 수행하는 계산이 그냥 80만 열을 검색하는 것보다 더 느릴 거라고 생각했고 실제로도 그랬지만, '80만 열을 검색하는 것'을 '80만번' 수행하려고 보니 미리 계산을 해서 '80만 열'을 한 '2000열' 정도로 줄이는 것이 큰 도움이 되었습니다.

세번째로 시도한 것은 상대적으로 더 느린 내장 함수를 좀 더 빠른 내장 함수 형식으로 고치는 것이었습니다. 사실, 더 느린줄 알면서도 그 함수를 쓰는 이유는 그 함수가 더 편하기 때문인데, 대표적으로 'VLOOKUP' 같은 것이 그렇습니다. 이 함수는 'MATCH'와 'INDEX'의 조합으로 고칠 수 있는데, 후자가 조금 더 빠르고, 이걸 수십만번 반복하다 보면 더 큰 차이가 납니다. 하지만 셀을 수정하는데는 훨씬 더 귀찮아집니다.

마지막으로, 최대한 데이터를 필터링 하지 않습니다. 처음에는 필터링한 결과에만 수식을 추가해 계산 횟수를 줄이려고 했는데, 열이 아주 많고, 필터링한 결과의 연속되지 않는 범위 수가 2048개보다 많으면 수식을 아래 셀에 연속해서 붙여넣을 수 없게 됩니다. 아마 '범위가 너무 복잡하다'는 메시지가 나올 겁니다. 그래서, 수식을 필터링 하지 않은 모든 셀에 붙여넣되 'IF()'로 감싸서 필터링에 나오지 않을 조건이면 계산을 수행하지 않는 식으로 해서 엑셀이 얼어붙은 동안 화장실에 다녀오는 대신 기지개를 한 번 펴고 주변을 서성이는 정도로 끝낼 수 있게 되었습니다.

... 적어놓고 보니 프로그램 동네에서는 본능적으로 당연하게 생각할 만한 것들 뿐인데, 괜히 최신 프로세서와 널럴한 메모리만 믿고 깝치다가 완전 바보됐습니다. 위에 이야기한 링크에는 계산을 빠르게 하기 위한 여러 가지 팁들이 널려 있는데, 그 중에는 프로세서나 메모리를 업그레이드 하는 아주 소극적인 방법부터 편의를 위해 여러 기능을 포함하는 대신 느리게 만들어진 내장 함수를 대체해 버리는 적극적인 방법도 있습니다. 기회가 되면 시도해 보는 것도 신나겠습니다.

엑셀의 유용한 기능 중 하나는 사용자 정의 함수를 만들 수 있다는 점입니다. 엑셀에서 기본적으로 지원해 주는 수많은 함수를 조합해 여러 가지 일을 간단히 처리할 수 있지만, 아무리 많은 함수를 지원해 줘도 작업할 때 필요한 여러 가지 괴상한 니즈를 모두 반영하는 것은 불가능할 겁니다. 그래서, 사용 방법은 다른 인라인 함수와 똑같은 방법으로 사용하지만, 그 함수 아래 들어있는 코드는 내 맘대로 바꿀 수 있도록 되어 있습니다. 사용자 정의 함수는 만드는 과정도 간단한데, 그냥 엑셀에서 코드에디터를 열고, 함수 껍대기를 만들고 내용물을 채워넣은 다음, 인라인 함수 쓰듯 워크시트에서 사용하면 됩니다. 함수의 활용 범위는 다른 VBA와 똑같이 거의 대부분의 Win32API에 접근할 수 있을 정도로 강력합니다.

하지만 얼마 전부터, 대량의 데이터를 처리할 때는 가급적 사용자 정의 함수를 사용하지 않기로 결정했습니다. 사용자 정의 함수는 위에 이야기한 여러 가지 장점을 가지고 있지만, 대량의 데이터를 처리하는데는 적합하지 않은 모습을 보였습니다. 작업에서 가장 많이 사용하는 함수를 꼽으라면 단연 'VLOOKUP'일텐데, 이 함수는 단독으로 사용되거나, 몇백개쯤 사용되어도 별로 속도가 느리다는 생각이 들지 않을 정도로 빨리 동작합니다. 하지만 처리해야 할 데이터 건수가 만 단위로 넘어가고, 검색해야 할 테이블의 크기가 커지면 속도가 기하급수적으로 느려져 나중에는 파일을 여는데만 수십초를 소모할 정도가 됩니다. 이 문제를 해결하기 위해 검색 대상이 되는 테이블을 같은 엑셀 파일의 다른 워크시트에 두는 방법 정도를 사용하고 있지만, 속도 향상에 아주 큰 도움이 되지는 않습니다.

인라인 함수의 또다른 곤란한 점은 실행 시점이 애매하다는 점입니다. 함수가 예상한 대로 동작하지 않을 때, 대체 어디가 문제인지 확인하려면 함수가 동작하는 과정을 한 단계씩 추적해야 하는데, 이 함수들은 실행시키는 시점을 조작하는데 애로사항이 있습니다. 프로시저라면 내가 실행 시점을 조작할 수 있지만, 함수는 엑셀이 판단한 적당한 시점에 동작합니다. 그래서 함수 한복판에 브레이크를 걸어 놓고 함수를 돌리고 싶으면 함수가 들어있는 셀을 클릭한 다음 엔터를 누르는 식으로 함수를 실행시키고 있는데, 종종 내가 원하는 한 셀만 실행되는 대신, 한 칼럼에 복사되어 있는 몇 만개의 함수를 동시에 돌려버리기 일쑤입니다. 그래서, 브레이크를 걸어 문제를 해결했는데도, 함수 실행이 종료되지 않고 계속해서 브레이크 걸리기를 계속합니다. 이 때에는 엑셀이 잘 응답하지 않는데, 최악의 경우에는 엑셀을 강제 종료해야 합니다. 저장하지 않았다면 최근의 작업을 날리겠지요.

속도와 디버깅의 문제 때문에, 한 칼럼에 수만개씩 복사되어 있는 엑셀 파일을 처리할 때는 사용자 정의 함수 대신에 프로시저를 쓰기로 했습니다. 프로시저는 인라인 함수만큼 편리하지는 않지만, 실행 시점을 정확히 제어할 수 있고, 인라인 함수와 수행속도는 똑같지만 파일을 열거나 닫을 때 마음대로 실행되지도 않기 때문에 엑셀파일을 여닫는데 걸리는 시간을 단축해 줍니다. 이런 이유로 엑셀로 커다란 데이터를 다룰 때, 가급적이면 인라인 함수를 사용하지 않는 것을 권장합니다. :)

수치작업을 하면서 꼭 필요한 것 중 하나는 값들의 경향을 알아보는 것입니다. 일정한 곡선을 그리는 값들은 그 자체로 이미 경향을 보인다고 할 수 있습니다. 그래서 별달리 경향을 파악하지 않아도 상관 없습니다. 하지만 때에 따라 들쑥날쑥하게 변하는 값들은 경향을 파악하는 것이 쉽지 않습니다. 유저 캐릭터가 몬스터 NPC를 공격한다고 하면, 최소 대미지와 최대 대미지 사이에서 적당한 분포를 가지고 값을 뽑아냅니다. 이 값들은 분명 어떤 경향을 보이기는 하겠지만, 최소값과 최대값 사이에서 값이 이리 저리 튀기 때문에 이게 높은 건지, 아니면 낮은 건지 파악할 수가 없습니다.

그래서 값을 평활화하는 작업이 필요합니다. 평활화는 위의 대미지 같은 상황처럼, 급격하게 변하는 값의 변화량을 억제해 부드러운 변화를 가지도록 만드는 것을 말합니다. 위에서 유저 캐릭터가 몬스터 NPC를 공격할 때 나오는 대미지 값들은 그 자체로는 경향을 말하기 어렵지마느 평활화 과정을 거치고 나면 '높다' 혹은 '낮다'를 판단할 수 있는 상태가 됩니다.

그런데, 문제는 엑셀에서는 기본적으로 이런 평활화 관련 기능을 제공하지 않는다는 겁니다. 평활화 기능은 당장 필요하고, 만들기는 시간이 부족하고 - 사실은 귀찮고 - 해서 구글씨에게 물어봤더니 꽤 괜찮은 곳을 알려주었습니다. 이곳에서는 평활화 함수를 잘 만들어 제공하고 있는데, 여러 모로 편리하게 사용할 수 있도록 만들어놨습니다.

적용하면 대강 이런 느낌이 되는데요, 엑셀에서 간단히 사용할 수 있어 평활화가 필요하신 분들께는 추천할 만 합니다. :)

근 3주째 수치작업을 한다고 삽질을 거듭하면서, 뭐든 기술적, 혹은 도구를 이용하면 해결할 수 있을거라고 믿는 제 특성 때문인지는 몰라도, 수치작업을 위한 적당한 도구가 있으면 좋겠다는 생각을 했습니다. 수치 작업에서 가장 중요한 요소는 값을 처리하는데 사용한 요소들의 관계를 기록하는 거라고 생각합니다. 값 자체는 언제라도 수정할 수 있으니까 별 문제가 안 되지만, 그 값을 도출하기 위해 사용한 다른 값들, 상수들, 입력 조건들이 이루는 관계를 잘 관리하지 않으면 나중에 값을 하나 수정할 때 꽤 큰 고통을 겪지 않으면 안됩니다.

하지만, 스프레드시트의 구조적 특성이라고 생각하는데, 값의 관계를 알기 쉽게 표시하고, 관리하는 건 어렵습니다. 엑셀에는 이 셀의 값을 구하기 위해 사용된 다른 셀을 선으로 이어 보여주는 기능이 있지만, 별로 알기 쉽지는 않습니다. 고민 끝에 엑셀의 셀 참조 관계를 마인드 매니저에서 엑셀 레인지 기능을 사용해 기록하는 식으로 작업을 진행하는 것을 시도해봤는데, 작업은 더디기만 합니다. 그렇다고 엑셀 자체에 셀 사이의 관계를 표시하는 것도 어렵습니다. 메모 기능이 조잡한데다가, 셀 사이에 그래픽으로 선을 그려넣으면 걔는 셀과는 별개로 취급되기 때문에 셀을 추가하거나 삭제하면 관계가 무너져버립니다.

예전에, 아레나라는 시뮬레이터를 가지고 놀던게 생각났습니다. 수치작업 자체를 아레나 같은 걸로 할 수는 없지만, 아레나에서 사용하는 모듈 하나하나를 엑셀의 셀 레인지와 매치시키면 값의 관계를 관리하는데 꽤 편하겠다는 생각이 들었습니다.

곰곰히 생각해보니, 엑셀 같은 스프레드시트를 대상으로 한 프로그램은 아니지만, 유사한 개념의 서비스는 이미 나와 있습니다. 야후 파이프는 코드를 다룰 줄 몰라도 웹에서 사용할 수 있는 웬만한 기능들을 그럴싸한 인터페이스로 조합해 원하는 기능을 수행할 수 있도록 해줍니다. 사용자는 그저 원하는 기능을 끌어다 놓고, 각 기능 사이의 관계를 정의해 주기만 하면 됩니다. 기능의 구성이 멋진 그래픽으로 나타나기 때문에 만들기도 쉽고, 편리하게 수정할 수 있습니다. 이 야후 파이프에서 '소스' 부분을 엑셀 레인지로 바꾼다면 굉장한 수치작업용 도구가 만들어지겠군요.

... 라고 해도, 작업은 엑셀과 마인드매니저의 엑셀 레인지 기능의 조합으로 갈 생각입니다. 방금 이야기한 괴상한 도구를 필요로 하는 사람이 수천명이 되기 전에는 그런 프로그램이 나오지 않을테고, 일은 당장 다음 주에는 끝을 봐야 하니까요. :(