Files
twitter_scraper/code/database.ipynb
T

3.0 KiB
Raw Blame History

In [2]:
from database import Data_table
from scraper import scrape

topic = 'Odense'
username_list, timestamp_list, content_list = scrape(topic, limit=3, headless=False)

val_dict = {
    'username': username_list[0],
    'time': timestamp_list[0],
    'content': content_list[0]
}

print(val_dict)

with Data_table() as dt:
    dt.insert(val_dict)
Out [2]:
{'username': '@otwndk',
 'time': datetime.datetime(2022, 12, 16, 21, 19, 9, tzinfo=tzutc()),
 'content': 'Sponsoreret: Verdensmestre, europamestre og store danske medaljetagere rammer Odense til et prestigefyldt stævne\n#odense #fyn #cykling'}
In [5]:
from database import get_content

df = get_content()

df
Out [5]:
0       Odense Universitets Hospital søger #Afdelingsc...
1       "Odense Dänemark, Seaside" Fotografie als Post...
2       Danimarkanın Odense takımı bu yaz müthiş bir ...
3       Highlights: SønderjyskE  Odense https://t.co/...
4       “Meta Platforms Inc has halted construction of...
                              ...                        
1810    Kunne du tænke dig at være med til at begejstr...
1811    UDEBANEAFSNITTET UDVIDES TIL 1800 PLADSER! \n\...
1812    Der er lagt op til fynsk fodboldfest på søndag...
1813    Jeg har i stigende omfang den oplevelse, at @A...
1814    PhD position podning in Odense, Denmark: Impro...
Name: content, Length: 1815, dtype: object
In [2]:
df.to_csv('~/Desktop/content.csv')
In [ ]: