Wysokowydajny sterownik Arrow-native do analityki lakehouse
Ręce rejestrują partie w odniesieniu do przenoszenia danych kolumnowych z minimalnym obciążeniem CPU, łącząc Delta Lake i Apache Iceberg z narzędziami analitycznymi. DeltaForge dostarcza sterownik ADBC dla systemu Windows i innych komputerów stacjonarnych, z dołączonym konektorem Power BI oraz powiązaniami językowymi dla Pythona, R i C. Jego główne zalety to niskie opóźnienia, transfery bez kopiowania i bezpośredni dostęp do tabel z pamięci obiektowej, skierowane do inżynierów danych i analityków BI, którzy zapytują o duże tabele lakehouse bez uruchamiania Sparka.
Kierowca dostarcza transfery typu Arrow-native, zero-copy dla danych kolumnowych
DeltaForge ADBC Driver przekazuje partie rekordów do aplikacji klienckich przez referencję, co eliminuje narzut konwersji zorientowanej na wiersze i utrzymuje dane w pamięci kolumnowej. Kierowca odczytuje i zapisuje formaty tabel Delta Lake i Apache Iceberg oraz przedstawia dane jako partie rekordów Arrow dla klientów Python, R lub C. Dla przepływów pracy, które wymagają partii kolumnowych zamiast buforów wierszy, skutkuje to niższym opóźnieniem i zmniejszonym zużyciem CPU podczas ekstrakcji.
Zmniejsza zależność od zewnętrznych klastrów, uruchamiając lokalnie natywny silnik SQL
Kierowca zawiera silnik SQL, który omija potrzebę posiadania zależności JVM lub Spark, dzięki czemu zapytania mogą być uruchamiane na lokalnym sprzęcie lub istniejących maszynach wirtualnych, a nie na zarządzanych klastrach. DeltaForge reklamuje prędkości benchmarkowe ponad 13 razy szybsze niż standardowe sterowniki .NET ODBC dla określonych obciążeń, co wspiera przypadki użycia, w których organizacje chcą uniknąć utrzymywania oddzielnego klastra Spark dla analityki.
Instalacja i integracja BI są bezpośrednie, ale zakładają techniczne przygotowanie
Na Windows kierowca jest dostarczany jako podpisany MSI i jest dostępny za pośrednictwem WinGet, a także zapewnia zintegrowany niestandardowy konektor Power BI dla Desktop. Instalacja jest prosta dla administratorów systemu, jednak integracja konektora w przedsiębiorczej linii BI wymaga skonfigurowania dostępu do pamięci (S3, ADLS lub lokalny dysk) oraz zrozumienia układu tabeli lakehouse. Standardowe powiązania ADBC pozwalają programistom wywoływać kierowcę z kodu, gdy tylko dane uwierzytelniające i punkty końcowe są na miejscu.
Bezpieczeństwo operacyjne i wpływ na system są zgodne z potrzebami analityki o wysokiej przepustowości
Kierowca odczytuje tabele bezpośrednio z pamięci obiektowej i unika zapisywania metadanych klastra, co eliminuje zależność od aktywnych klastrów obliczeniowych. Ponieważ przekazuje partie przez referencję i unika narzutu JVM, ciśnienie CPU i pamięci spada w porównaniu z kierowcami opartymi na wierszach podczas dużych eksportów. Dla środowisk, które potrzebują bezpieczeństwa rollback lub snapshot, te zabezpieczenia muszą być zarządzane na poziomie pamięci lub tabeli, a nie przez samego kierowcę.
Najlepsze dla zespołów, które mogą uruchamiać zapytania przeciwko pamięci masowej lakehouse; zaleca się testowanie na reprezentatywnych danych
DeltaForge ADBC Driver jest pragmatyczną opcją dla inżynierów danych i zespołów BI, które potrzebują dostępu o wysokiej przepustowości do tabel Delta Lake lub Iceberg bez uruchamiania klastrów Spark. Oczekuj szybszego transferu danych i niższego zużycia lokalnego CPU, chociaż integracja wymaga znajomości układu pamięci masowej i kontroli dostępu. Testuj zapytania na kopii swojego zbioru danych, aby zweryfikować uprawnienia i wykorzystanie zasobów przed wdrożeniem do produkcji. Zalecane.
