Anthony Kong
2011-08-16 12:49:37 UTC
Tworzę dużą ramkę danych, łącząc zawartość kilku plików razem. Te pliki mają ten sam układ kolumn.
c = read.delim ('bigfile1.txt') c1 = read.delim ('bigfile2.txt') c2 = read.delim ('bigfile3 .txt ') ctmp1 = merge (c, c1, all = TRUE) ctmp2 = merge (ctmp1, c2, all = TRUE) Czy powyższy kod jest wydajny?
Czy zamiast tego powinienem ponownie użyć tej samej nazwy zmiennej, np.
tmp = merge (c, c1, all = TRUE) tmp = merge (tmp, c2, all = TRUE)
Jakiej wydajności szukasz? Szybkość czy zużycie pamięci?
mptiktas: Dobre pytanie! Najpierw wydajność, potem pamięć.
Wątpię, czy miałoby to poważny wpływ na wydajność, ale wczytywałbym pliki do listy, a następnie używałbym „rbind” lub „cbind” poprzez „do.call”, aby „scalić”. W ten sposób nie będziesz mieć dodatkowych obiektów leżących w pobliżu.
Jeśli wszystko jest tak, jak podejrzewam (zobacz moją odpowiedź), może nawet lepiej będzie dołączyć do plików poza R, a następnie je przeczytać: wydajność będzie dobra i prawdopodobnie można uniknąć konieczności posiadania więcej niż jednego pliku ( jeden, który aktualnie dodajesz do pliku wynikowego) w pamięci w tym samym czasie.
@Nick: całkowicie zgadza się z twoją sugestią. W tym konkretnym przypadku mam tylko prawo odczytu do folderu źródłowego. Oczywiście mogłem przenieść pliki do lokalnej lokalizacji i połączyć je razem.
Czy możesz zaktualizować swoje pytanie zawartością `dput (head (c))`, `dput (head (c1))`, `dput (head (c2))`, aby użytkownicy mogli zaktualizować swoje odpowiedzi o rzeczywisty kod, który działa? Nie sądzę, aby odniesienia do „sprawdź myFavoriteToolToDoHypotheticalAnalysis” były dla nikogo konstruktywne. Byłaby o wiele bardziej interesująca gra, gdybyśmy mogli zobaczyć te metody w działaniu.
@chase: Wypróbowałem te polecenia. Ponieważ ujawni niektóre podstawowe dane, które są zastrzeżonymi informacjami, prawdopodobnie nie mogę ich tutaj zamieścić.
Co powiesz na tworzenie losowych danych, które powiela strukturę danych? Można tu użyć wszystkich opcji `rnorm ()`, `runif ()`, `sample ()` itp. Po prostu chcę czegoś, co zachęci do bardziej szczegółowych odpowiedzi niż „sprawdź dane.table, słyszę, że jest fajnie na te rzeczy”, a odtwarzalny przykład dałby ludziom szansę pokazania, jak fajny jest XYZ.
@chase. Słuszna uwaga. Spróbuje. R nowicjusz tutaj, więc nie wstrzymuj oddechu. :-)