Handige tools bij het verwerken van veel gegevens

Als programmeur, maar ook als docent, krijg ik heel vaak te maken met teksten/data die ik moet verwerken of aanpassen. Een paar voorbeelden:

  • Ik kreeg laatst van mijn opleiding een lijst met gebruikersnamen van studenten. Daar moest @nhl.nl achter om er e-mail adressen van te maken.
  • Van een klant van mijn eigen bedrijf kreeg ik digitaal een menulijst met prijzen. Deze moest ik verwerken in zijn website.

Nu kun je alle data, elke regel, met de hand aanpassen, maar hier zijn hele handig tools voor. Wat dat betreft houd ik mezelf altijd voor: als je een handeling vaker moet verrichten, dan moet je het automatiseren.

Twee programma’s zijn daarbij voor mij essentieel, namelijk een spreadsheetprogramma en een krachtige teksteditor. Toen ik deze blogpost eerder op mijn eigen blog schreef, waren dat Excel en UltraEdit. Inmiddels ben ik overgestapt naar de Mac en gebruik ik in plaats van UltraEdit nu Coda als teksteditor. Er zijn er natuurlijk meerdere pakketten.

Excel
Lijsten in excelVeel mensen zijn niet echt bekend met Excel en eigenlijk is dat jammer, want het is heel krachtig. Naast de rekenkundige aspecten is het ideaal om data met meerdere kolommen snel te sorteren. Maar het is ook ideaal als je snel lijstjes moet maken. Als je de getallen 1 – 100 nodig hebt, dan volstaat het door in het eerste kolom 1 te typen en daarna het vakje “uit te trekken”. Als je maar 1 cel uittrekt, dan moet je CTRL in drukken tijdens het slepen om het doortellen te realiseren.

Tijden maken in ExcelOok met tijden werkt dit in Excel goed. Schrijf twee tijden onder elkaar, met bijv. een kwartier verschil, selecteer beide cellen en sleep deze met de muis naar onderen. Excel zal dezelfde interval gebruik om door te rekenen.

UltraEdit
UltraEdit is echt een killerapp: kladblok met ontzettend veel functionaliteit. Met dit programma werkte ik het meeste, vooral vanwege het programmeren. Er zijn diverse vergelijkbare pakketten, bijv. Coda en TextMate voor de Mac, ieder met zijn eigen vergelijkbare oplossingen.

De twee functies die ik binnen UltraEdit het meest gebruik zijn: Kolom selectie en “Replace”.

Kolomselectie in UltraEditMet kolom selectie selecteer je geen regels, maar een blok tekens. Je kunt dan dat blok bijv. verwijderen en/of nieuwe tekst typen die op elke regel erbij komt. Het is erg wennen om deze manier van selecteren te gebruiken, maar als je het even probeert en ermee leert werken,dan scheelt dat vaak veel tijd.

Met de Replace functie, die overigens ook in Word en Kladblok zitten, kun je tekst vervangen door andere tekst. Replace functie in UltraEditIn UltraEdit zijn de mogelijkheden groter door reguliere expressies (complex verhaal dat ik je bespaar). Handig daarmee is dat je bijv. met “^p” een “Enter” bedoeld. Als je dan “^p” vervangt voor “@nhl.nl^p”, dan komen aan het einde van elke regel @nhl.nl. Handig als je dus van gebruikersnamen een e-mail adres moet maken.

Data verwerken is vooral goed nadenken over hoe je dergelijke handigheidjes kunt gebruiken om snel te werken. Vaak kun je de tools ook gecombineerd gebruiken. Bijvoorbeeld een lijst met tijden maken in Excel, die copy-pasten naar UltraEdit of Word en er daar verder mee werken.

Wat vind je van deze hack?
0Te gek0Leuk0Serieus?0Meh...0Stom

About Author

28 Comments

  • Bram
    Posted 25/05/2009 11:49 am 0Likes

    Hoe stel ik in dat als een lijst hebt met 2000 adressen, dat de titelbalk meescrollt zodat je altijd ziet welke info bij welke kolom hoort. Is dit mogelijk met excel en zoja, hoe..? Bij voorbaat dank.

    Vriendelijke groet,

    Bram.

  • Thomas
    Posted 25/08/2008 9:07 pm 0Likes

    Ook heel handig:
    CSVed 1.4.6 – Een editor voor komma gescheiden databestanden met ontzettend veel mogelijkheden om de data te manipuleren.

  • ERLI
    Posted 25/08/2008 1:00 am 0Likes

    Een uitspraak waaruit blijkt dat automatisering absoluut noodzakelijk is:
    ‘Wie zijn gemak niet zoekt is een luiaard’

    Eens gehoord, altijd onthouden.

  • Alex
    Posted 23/08/2008 4:00 pm 0Likes

    Ik gebruik al tijden Dataslave, gepruts met excel en ultra-edit is overbodig.
    Het is een mapeditor waarbij je data kan inlezen uit vele formaten en daarna kan transformeren/exporteren. Maar ja ook ik ben een oude linux fanaat maar het gemak van deze tool ontstijgt alles.

    Het is natuurlijk de situatie waar je in verkeert wat voor tool je kiest.

    http://www.baycastle.co.uk/index.htm

  • Maarten A.T.M. Broekmans
    Posted 23/08/2008 3:11 pm 0Likes

    PArdon, in Word dus vervangen door ‘nhl.nl^|’

    Maarten

  • Maarten A.T.M. Broekmans
    Posted 23/08/2008 3:10 pm 0Likes

    Deze mineraloog/geochemicus lost zoiets gewoon in Word of WP op.

    Ctrl+H (Word) of Alt+F2 (WP, beide ‘find & replace’), dan in Word “^|” vervangen door “^|nhl.nl” (^| staat voor ‘manual line break’), of in WP-nees “[Hrt]” vervangen door “nhl.nl[Hrt]”.

    Klaar!

  • Egbert
    Posted 23/08/2008 2:06 pm 0Likes

    In Excel werkt =A1&”@nhl.nl” (of RK1&…) ook.

  • Crazybites199
    Posted 23/08/2008 11:05 am 0Likes

    Powershell in combinatie met de gratis Powershell GUI!!
    En dan valt er echt niets meer te zeggen!
    Bovendien, UltraEdit en Excel zijn niet gratis. Het is mijn stellige overtuiging dat, wanneer je blogt over dit soort zaken, het een verplichting is dat je in ieder geval gratis alternatieven noemt.

    –Cheers–
    Siegfried

  • Sander
    Posted 22/08/2008 4:47 pm 0Likes

    http://www.asap-utilities.com/

    Meer zeg ik niet

  • Jeroen
    Posted 22/08/2008 2:37 pm 0Likes

    De regular expressions die vi/sed/awk zo krachtig maken, zijn zeer goed geintegreerd in EditPad Pro (http://www.editpadpro.com/editpadpro.html).

    De auteur heeft ook een fantastische site gemaakt over regexp’s: http://www.regular-expressions.info.

  • tek
    Posted 22/08/2008 1:38 pm 0Likes

    UltraEdit killerapp ? ? ? ? wtf!?? !? Notepad++ zal u bedoelen!

  • Jeroen
    Posted 22/08/2008 12:30 pm 0Likes

    Excel en UltraEdit zijn inderdaad al jaren mijn grote vriend, maar sinds een jaartje of 2 heb ik ook cygwin op mijn (werk)laptop staan. Ik heb daar geen Ux-variant bij de hand, maar kan dan toch even snel tools als grep, cut, sort etc. gebruiken.

    Vooral door het kunnen gebruiken van een pipe (|) kun je de zaak erg krachting maken. Maar voor iedere klus zijn er vele wegen die naar de oplossing leiden. Ieder heeft voorkeur voor zijn eigen tool

  • Taco Jan Osinga
    Posted 22/08/2008 11:47 am 0Likes

    Er zijn inderdaad tig mogelijkheden, en vi en sed gebruik ik ook regelmatig, maar niet dagelijks. Net wat Rotaluclac schrijft, moet ik dan wel vaak wat uitzoek werk verrichten, zodat het dus alsnog niet efficient is. En bij commandline dingen ontbreekt de ctrl-z meestal 😀

    De boodschap van mijn artikel is ook niet zozeer bedoeld om bepaalde software te promoten, maar juist wel de functionaliteiten te promoten die dergelijke pakketten hebben. Excel en UltraEdit zijn toevallig de pakketten die ik gebruik(te), maar er zijn er natuurlijk genoeg, waarvan er al diverse handige genoemd zijn.

  • Rotaluclac
    Posted 22/08/2008 11:19 am 0Likes

    Ja heerlijk die Linux-tools.

    Er was een tijd dat ik ze bijna dagelijks gebruikte. Dan zijn het de beste en krachtigste tools die er zijn.

    Maar nu… eerst een uurtje zoeken naar het juiste commando. sed, cat, dd, chmod, cp, …? Dan een half uurtje zoeken naar de juiste parameters. Vervolgens even proberen in een temp-mapje, want anders heb je voor je het weet je gegevens grondig om zeep geholpen. En dan pas kun je de taak uitvoeren waar het om begonnen was. Eerst vijf keer de opdrachtregel letter voor letter, spatie voor spatie nalezen, anders gaat er alsnog iets grondig fout.

    En dan, als je dan eindelijk op Enter drukt, ja dan heb je inderdaad in de snelst mogelijke tijd je werk gedaan.

  • Robert
    Posted 22/08/2008 11:09 am 0Likes

    Al dat gemekker over handig links, handig rechts.
    Ongeevenaard blijft vi, sed,awk.
    Verdiep je er eens in en je bent krachtiger dan wie of wat dan ook.

    Dus de punten gaan weer naar Tybris 🙂

  • Tybris
    Posted 22/08/2008 11:02 am 0Likes

    sed ‘s/$/@nhl.nl/’ namenlijst > emaillijst

  • nietzoslim
    Posted 22/08/2008 10:43 am 0Likes

    Voorpagina nieuws op NU: Excel is best een handig programma.

    Je kunt er ook geinige dingetjes mee doen, dit is bijvoorbeeld 1 van de belachelijkste dingetjes die ik er ooit mee gedaan heb, het haalt een komma weg als dat het eerste teken is van een samengevoegde tekst:

    =IF(LEFT(D2&E2&F2&G2&H2&I2&J2&K2&L2&M2&N2&O2&P2&Q2&R2&S2&T2&U2&V2&W2&X2&Y2&Z2,2)=”, “,MID(D2&E2&F2&G2&H2&I2&J2&K2&L2&M2&N2&O2&P2&Q2&R2&S2&T2&U2&V2&W2&X2&Y2&Z2,3,100),D2&E2&F2&G2&H2&I2&J2&K2&L2&M2&N2&O2&P2&Q2&R2&S2&T2&U2&V2&W2&X2&Y2&Z2)

  • Rotaluclac
    Posted 22/08/2008 10:23 am 0Likes

    Als je geen UltraEdit hebt maar wel Word, kun je ook kolommen selecteren (eigenlijk: rechthoekige blokken tekst).

    Houd Alt ingedrukt en selecteer dan een stuk tekst met je muis.

    Als je dit combineert met een niet-proportioneel lettertype als Courier New, heb je dezelfde functionaliteit als bij UltraEdits kolomselectie.

  • SsJ
    Posted 22/08/2008 8:37 am 0Likes

    Grappig om te lezen dat anderen op precies dezelfde manier werken als je zelf al jaren doet. De combinatie Excel en UltraEdit is geweldig. Goed nadenken over je aanpak is inderdaad van belang. Zelf heb ik heel veel SQL scripts gemaakt met de gouden combinatie Excel-UltraEdit. Dat er alternatieven zijn is natuurlijk prima. Iedereen doet het lekker op zijn eigen manier en met zijn eigen tools!

  • DC
    Posted 21/08/2008 8:16 pm 0Likes

    sorry ik bedoelde niet ultraedit maar notepat++ daar werkt de macro functie soms niet goed

  • Bob
    Posted 21/08/2008 9:52 am 0Likes

    EEn gratis alternatief voor ultra edit is notepad ++. Kan alles wat UE ook kan, is gratis en wordt actief ontwikkeld. Aanrader!

  • DC
    Posted 19/08/2008 10:10 pm 0Likes

    macro functie van UltraEdit werkt soms niet goed ik gebruik “PHP Designer Personal 2007” daar kan je meteen php code debuggen bij javascript is het ook zo

  • Erno Mijland
    Posted 18/08/2008 4:55 pm 0Likes

    Notetab Pro (http://www.notetab.com) heeft een hele programmeertaal aan boord om dit soort tekstbewerkingen relatief eenvoudig als macro te bewaren en te bewerken. Je kunt die macro stap-voor-stap opbouwen en elke stap testen op een klein databestand om hem als je klaar bent los te laten op het grote bestand. Ik heb dit programma gebruikt in de eerste edities van de Top 2000 in video (http://tinyurl.com/top2000), waarin in een lijst met titels en uitvoerenden onder de titel steeds een zoekopdracht is gegenereerd in YouTube.

    Notetab heeft ook een freeware variant, maar is niet beschikbaar voor de Mac.

    Uiteindelijk gaat het inderdaad om goed denkwerk: hoe kun je klus X het handigst in programmeerbare stappen opdelen. Dat zijn altijd leuke uitdagingen.

  • Paul
    Posted 18/08/2008 4:51 pm 0Likes

    Nog handiger is om, bij dit voorbeeld, in Excel de gebruikersnamen in kolom A te zetten en vervolgens in kolom B de formule TEKST.SAMENVOEGEN(A1;”@nhl.nl”) te typen. Ten slotte kopieer je de formule met een dubbelklik rechtsonder op de cel. Dit scheelt je weer een kolom vullen met “nhl.nl” (hoewel dat met kopiëren en plakken ook snel kan).

  • thomas
    Posted 18/08/2008 4:49 pm 0Likes

    met excel kan alles…… ik ben fan van excel.

  • Stefan
    Posted 18/08/2008 4:04 pm 0Likes

    Van gebruikersnamen een e-mail adres maken kun je ook in excel doen door de functie TEKST.SAMENVOEGEN te gebruiken.
    bijv. je gebruikersnamen in kolom A, zet de e-mailextensie in kolom B (niet vergeten om eerst kolom B teksteigenschappen te geven)
    vervolgens in kolom C de functie TEKST.SAMENVOEGEN gebruiken.
    Daarna kolom C kopiëren en speciaal plakken “waarden”.

  • Dennis
    Posted 18/08/2008 3:43 pm 0Likes

    En een freeware-variant van Excel is het OpenOffice-onderdeel “Calc”, wat ook bijna niet onder doet voor zijn commerciële broertje: http://nl.openoffice.org/

  • Ricardo
    Posted 18/08/2008 2:36 pm 0Likes

    Een freeware variant van UltraEdit is PSPad, doet bijna niet onder voor zijn commerciële broertje: http://www.pspad.com/en/

Comments are closed.