
Zaman serisi, zaman sırasına göre düzenlenmiş veri değerleri kümesidir. Bir şeylerin zaman içinde nasıl değiştiğini gözlemlemek için oldukça yaygın kullanılan bir veri formatıdır. İşlem süreleri, döviz kurları, hava durumu tahminleri ve kalp atış hızı ölçümleri, zaman serilerine örnek olarak verilebilir. En yaygın kullanım alanları arasında IoT sensörlerinden elde edilen metrikler, bir sistemin veya sürecin performansı, uygulama performansının izlenmesi, tıklama akışı verileri ve benzeri uygulamalar yer alır.
Zaman serisi verileri çok hızlı bir şekilde toplanabilse de geleneksel veritabanları, çok büyük veri kümelerini yönetmekte yetersiz kalabildikleri için bu verilerin ölçeklendirilmesinde zorluk yaşar. Geleneksel ilişkisel veritabanlarının bu dezavantajı nedeniyle birçok kişi zaman serisi veritabanlarını (TSDB) tercih eder.
AWS, zaman serisi verileri için Amazon Timestream adlı ölçeklenebilir bir zaman serisi veritabanı hizmeti sunar. Şimdi temel özelliklerini ve çalışma şeklini inceleyelim, ardından örnek uygulamamızı oluşturmaya geçelim.
AWS, iki yıl önce Amazon Timestream'i Ön İzleme (Preview) sürümüyle kullanıma sundu. Eylül 2020'nin sonlarında ise AWS Timestream'in tüm kullanıcılar için genel kullanıma açıldığı duyuruldu. Amazon Timestream, sunucusuz ve ölçeklenebilir bir zaman serisi veritabanı çözümüdür. Sorgu performansı açısından ilişkisel veritabanlarından 1.000 kata kadar daha hızlıdır. Ayrıca hizmet, geleneksel bir ilişkisel veritabanının maliyetinin yaklaşık onda biri karşılığında trilyonlarca zaman serisi verisinin yüksek performansla işlenmesini kolaylaştırır.
Amazon Timestream ile verilerin aktarılması ve bunlara erişilmesinin sağladığı kolaylıklarla başlayalım. Verilerinizi bellekteki depolama alanından manyetik depolama alanına aktarmak için herhangi bir işlem yapmanız gerekmez; Amazon Timestream bu aktarım sürecini sizin için gerçekleştirir. Veri sorgulama işlemlerinde de artık verilerinize erişmek için ayrı araçlar kullanmanız gerekmez. Çünkü verilerin bellekte mi yoksa manyetik depolama alanında mı bulunduğunu belirtmenize gerek yoktur.
Amazon Timestream'in bir diğer avantajı, yerleşik güvenlik özellikleridir. Hizmet, zaman serisi verilerinin her zaman şifrelenmesini sağlar. Son olarak, Amazon Timestream'i kullanırken yalnızca yazma, depolama ve sorgulama işlemleri için ödeme yaparsınız.
Bu eğitimde, son beş güne ait hava durumu verilerini zaman serisi veritabanımıza kaydeden ve bu verileri Grafana panosu üzerinden görselleştiren bir uygulama oluşturacağız. Veri kaynağımız olarak OpenWeatherMap'in One Call API hizmetini kullanacak ve verileri Amazon Timestream veritabanına kaydedeceğiz. Kaynak kodun tamamına projenin GitHub deposundan ulaşabilirsiniz.
Şimdi Amazon Timestream üzerinde bir veritabanı oluşturacağız. Amazon Timestream konsolunda standart veritabanı seçeneğini seçtik ve veritabanına weatherDB adını verdik.

Şifreleme (Encryption) sekmesinde varsayılan ana anahtarı kullanacağız. Ancak AWS KMS aracılığıyla kendi ana anahtarınızı da sağlayabilirsiniz.

Bu iki adımın ardından veritabanımız oluşturulmuş oluyor. Şimdi weathertable adını vereceğimiz bir veritabanı tablosu oluşturacağız.

Veri Saklama (Data Retention) sekmesinde iki farklı saklama süresi göreceksiniz. En güncel kayıtlar olan “sıcak veriler” (hot data) bellekte saklanır. Manyetik depolama alanı ise soğuk verileri (cold data) tutar. Manyetik depolama alanı için belirlenen süre sona erdiğinde soğuk veriler kalıcı olarak silinir. Burada bellek depolama saklama süresi, verilerin manyetik depolama alanına taşınmadan önce bellekte ne kadar süre tutulacağını belirtir.

Bizim durumumuzda, bellek depolama alanında saklama süresi en az 5 gün olmalıdır. Çünkü bellek depolama alanı için belirlenen saklama süresinden daha eski kayıtları kaydedemeyiz. Bu nedenle bellek depolama saklama süresini 7 gün, manyetik depolama saklama süresini ise 1 ay olarak seçelim.
Artık zaman serisi veritabanımız kullanıma hazır. Şimdi kodlamaya başlayalım.
Öncelikle, zaman serisi verilerini Amazon Timestream'e gönderebilmek için bir istemci oluşturmamız gerekiyor. İstemcimizi, gerekli izinlere sahip IAM kullanıcımızın kimlik bilgilerini kullanarak boto3 ile oluşturuyoruz.
client = boto3.client( 'timestream-write', aws_access_key_id=constants.AWS_ACCESS_KEY_ID, aws_secret_access_key=constants.AWS_SECRET_ACCESS_KEY, region_name=constants.AWS_DEFAULT_REGION )Bu kodu bir EC2 bulut sunucusunda veya AWS Lambda üzerinde çalıştırıyorsanız, bulut sunucusu profili rolüne ya da Lambda rolüne gerekli izinleri verebilir ve boto3 istemcisini oluşturmak için aşağıdaki kodu kullanabilirsiniz. Boto3 üzerinde IAM rollerinin kullanımı hakkında daha fazla bilgiye buradan ulaşabilirsiniz.
client = boto3.client( 'timestream-write', region_name=constants.AWS_DEFAULT_REGION )İstemcimizi oluşturduktan sonra API'den günlük hava durumu verilerini almaya hazırız. prepare_data() yöntemiyle bir sözlük listesi oluşturuyoruz:
def prepare_data(self, data): records = [] for hourly in data['hourly']: records.append(self.prepare_record(hourly['dt'] * 1000, self.city, 'temp', hourly['temp'])) records.append(self.prepare_record(hourly['dt'] * 1000, self.city, 'feels_like', hourly['feels_like'])) records.append(self.prepare_record(hourly['dt'] * 1000, self.city, 'humidity', hourly['humidity'])) return recordsSözlüğümüzde bu anahtarları tanımlamamız ve prepare_record() yöntemiyle değerlerini eklememiz gerekiyor:
Time: Milisaniye cinsinden Epoch zaman damgası.
Dimensions: Veritabanımız için ek sütunlar.
MeasureName: Sıcaklık, hava basıncı gibi ölçüm verilerinin adı.
MeasureValue: Ölçüm verisinin değeri.
MeasureValueType: Ölçüm verisinin DOUBLE, INTEGER gibi değer türü.
Uygulamamızda Dimensions alanı, her şehrin analizi için ortaktır. Bu alan; ana makine adı, ülke adı, saat dilimi gibi başka sütunlar eklenerek özelleştirilebilir.
def prepare_record(self, timestamp, city, measure_name, measure_value): # Prepare record to be able to send Amazon Timestream return { 'Time': str(timestamp), 'Dimensions': [{'Name': "city", 'Value': city}], 'MeasureName': measure_name, 'MeasureValue': str(measure_value), 'MeasureValueType': 'DOUBLE' }Not: Epoch zaman damgasının saniye cinsinden gönderilmesi, zaman damgası bellek depolama alanının saklama süresinin dışında kalacağı için RejectedRecord hatasına neden olur.
Son adıma geldik. Artık yapmamız gereken tek şey kayıtları Amazon Timestream'e göndermek. write_records() yöntemimiz bu işlemi gerçekleştiriyor. API yanıtından sıcaklık, hissedilen sıcaklık ve nem değerlerini kullanacağız. Her gün için liste oluşturma işlemi tamamlandığında bu listeyi Amazon Timestream'e göndereceğiz.
def write_records(self): for epoch in self.get_five_past_days(): data = self.get_weather_data(epoch) records = self.prepare_data(data) try: # Send data to Amazon Timestream response = self.client.write_records( DatabaseName=constants.DATABASE_NAME, TableName=constants.TABLE_NAME, Records=records ) print(f"WriteRecords Status: {response['ResponseMetadata']['HTTPStatusCode']}") except self.client.exceptions.ResourceNotFoundException: raise Exception("Table doesn't exists.") except Exception as exc: raise Exception(f"Unexpected error: {exc}")Önceden tanımlanmış enlem ve boylam bilgilerine sahip bir şehir belirterek betiği çalıştırın:
python main.py --city IstanbulAmazon Timestream'de oluşturulan veriler aşağıda gösterilmiştir:

Kaynak kodun tamamını şu adresten inceleyebilirsiniz:
Şimdi 5 günlük hava durumu verilerimizi Grafana kullanarak görselleştirme zamanı. Buradaki talimatları izleyerek Grafana'yı bilgisayarınıza kurabilir ve yapılandırabilirsiniz. Kurulum tamamlandığında, Grafana'nın Timestream eklentisini komut satırından yüklemek için aşağıdaki komutu çalıştırın: grafana-cli plugins install grafana-timestream-datasource
“Add Data Sources” sekmesinde Amazon Timestream'i arayın ve seçin.

Ardından kimlik bilgileri dosyasını girin ve tercih ettiğiniz bölgeyi seçin. Daha sonra bağlantının başarılı olup olmadığını kontrol etmek için “Save & Test” düğmesine tıklayın. Son olarak veritabanınızı, tablonuzu ve ölçüm değerlerinizi seçin.

Tamamlandı! Grafana panosunda sıcaklık değerlerini görselleştirmek için çizgi grafik seçtik. Aşağıda örnek bir sorgu ve sorgunun sonucu yer alıyor.

Aşağıdaki örnekte olduğu gibi, belirli bir zaman aralığı için ortalama değer ekleyerek, grafiğinize ikinci bir ölçüm veya zaman serisi verilerindeki değerleri karşılaştırmak için ikinci bir konum ekleyerek grafiklerinizi ve panolarınızı geliştirebilirsiniz.

Uygulamalarınızda bulut tabanlı yerel veritabanı hizmetlerinden yararlanmak mı istiyorsunuz? Özel yazılım mimarisi ve hizmetleriyle uygulama performansınızı artırmak için hemen bizimle iletişime geçin!
Beyza, hevesli bir Developer olarak, modern uygulama geliştirme için sonraki nesil teknolojileri takip etmek ve kullanmak konusunda isteklidir. Mükemmel uygulamalar için dönüşüm sağlayıcı pratikleri benimseme ilgisi, öğrenme ve yeteneklerini paylaşma tutkusu ile birlikte yeni teknolojilere olan ilgisini desteklemektedir.
Teknoloji kullanımımız, çözümlerimiz ve rehberlerimizle ilgili en son güncellemeleri ve makaleleri keşfedin.
Size daha iyi bir deneyim sunmak için çerez kullanıyoruz.
Kişiselleştirilmiş içerikle size daha iyi bir deneyim sunmak için çerezleri kullanıyoruz.
Çerezler, ziyaret ettiğiniz web siteleri tarafından bilgisayarınıza gönderilen ve saklanan küçük dosyalardır. Bir sonraki ziyaretinizde tarayıcınız çerezi okuyarak bilgileri, çerezi oluşturan web sitesine veya öğeye iletir.
ㅤㅤㅤㅤㅤㅤ
Çerezler, web sitemizi her ziyaret ettiğinizde sizi otomatik olarak tanımamıza yardımcı olur, böylece deneyiminizi kişiselleştirebilir ve size daha iyi hizmet sunabiliriz.


